Introducción a las

REDES NEURONALES

Javier García
GILAB - UdG
 Sumario
Definición de neurona artificial
Memoria asociativa
Redes cibernéticas I: Perceptrón simple
Redes cibernéticas II: Perceptrón multicapa
Aplicaciones
 Neurona real

Neurona artificial
 Ejemplo

 2 1.1 0.2

0.1
fx  tanhx   0. 7932
x 1 x   1. 08
0.9
Memoria asociativa
 Memoria asociativa

Conjunto de neuronas interconectadas que evolucionan en el tiempo

a partir de un estado inicial hasta estabilizarse en uno de los posibles
estados finales.

Ejemplo: 4 neuronas

1 2

3 4

Utilidad? Sí, para recordar de forma estable

 Memoria asociativa
s 1 t  Valor neurona 1 en el tiempo t
s 2 t  Valor neurona 2 en el tiempo t
s 3 t  Valor neurona 3 en el tiempo t
s 4 t  Valor neurona 4 en el tiempo t
Patrón a ‘recordar’:

Evolución en el tiempo
 i,j  1
N
sisj

s 1 t  1  f 1,1 s 1 t   1,2 s 2 t   1,3 s 3 t   1,4 s 4 t

s 2 t  1  f 2,1 s 1 t   2,2 s 2 t   2,3 s 3 t   2,4 s 4 t
s 3 t  1  f 3,1 s 1 t   3,2 s 2 t   3,3 s 3 t   3,4 s 4 t
s 4 t  1  f 4,1 s 1 t   4,2 s 2 t   4,3 s 3 t   4,4 s 4 t
 Memoria asociativa
Ejemplo
Patrón para almacenar en memoria
s 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 12 13 4
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
5 16 17 8 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
9 10 111 12
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
13 14 15 16 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
  sT s  1
16
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 Memoria asociativa
Ejemplo

Patrón inicial defectuoso s 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

fs T  Evolución (1 iteración)

s2  1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
Patrón final almacenado
Ejemplo online

ir
 Capacidad de la memoria asociativa:
Con N neuronas podemos guardar N patrones.
Perceptrón simple
 Perceptrón simple

1

2

s1

Input s2 Output
 Perceptrón simple

ejemplo
1
s1
2
i, p sj, p
s2
3
j, p
4
j, i

i  1, 2, 3, 4 Flujo hacia adelante:

j  1, 2
p  1, . . . , N p s  f  
 Perceptrón simple
simplificación:
Back 0
propagation learning
Np N2 Np N2
error  1
2  deseo j,p  salida j,p  2  12   j,p  sj,p  2
p1 j1 p1 j1
Np N2

error  1
2    f 2
p1 j1

    ff       j,p  i,p

error
 j,i
p p
f  x  1  f 2 x
 j,p   j,p  s j,p 1  s 2j,p 

    j,p  i,p
error
cambio en pesos    j,i
p
 Perceptrón simple
IDEA

f  x2  y2
f 50

x
 2x 0
x 0 ,y 0 40
f
y
 2y 0 30
x 0 ,y 0
z
20
-4
10
x 1  x 0  2x 0 -2
0 2
4

y 1  y 0  2y 0 -2
0 0

-4
x 2y

x 1  1  2x 0 x n  1  2 n x 0   0. 1
y 1  1  2y 0 y n  1  2 n y 0 1  0. 2   0. 8   0
Perceptrón multicapa
 Perceptrón multicapa

Capa de entrada Capa oculta Capa de salida

1
s1
2
s  f 1    1  S  f 2 s   2 

S  f 2 f 1    1    2 
Learning rule

Np N2

Minimizar: error  1
2 deseo j,p  salida j,p  2

p1 j1
Aplicaciones
 Perceptrón multicapa

Puerta XOR
1 Código XOR
s1
2

Notación

Entradas
 11  0
Salidas deseadas
s 11  0
 23
 21  0
Patrón 3
 12  1
s 12  1 Input 2
 22  0
 13  0
 23  1
s 13  1
s 13
 14  1
s 14  0 Patrón 3
 24  1
Output 1
 Perceptrón multicapa
Ecuación de tercer grado

x3  ax  b  0
x3  1x  1  0, Solution is:  0. 682 33
x3  0. 1x  0. 8  0, Solution is: 0. 964 21 y
2

x3  0. 1x  0. 2  0, Solution is: 0. 528 1

x3  0. 6x  0. 2  0, Solution is: 0. 291 89

-1.0 -0.8 -0.6 -0.4 -0.2 0.2 0.4 0.6 0.8 1.0
x

x3  0. 1x  0  0, Solution is: 0 -1

x3  0. 7x  1  0, Solution is: 0. 771 80

x3  0. 1x  0. 8  0, Solution is: 0. 892 43 -2

x3  0. 3x  0. 7  0, Solution is: 0. 775 96

Testeo de generalización

1
s1 Código Ecuación
2
Más aplicaciones
 Más aplicaciones

- Movimiento de robots
- Predicción de estructura secundaria de las proteínas
- Aprendizaje pronunciación humana

- Reconocimiento de: escritura escrita, caras, clientes, etc..

- Predicción de series temporales (Bolsa)

- Clusterización: Agrupar datos aprovechando relaciones

escondidas (difíciles de detectar por humano)
Gracias por vuestra atención