Documentos de Académico
Documentos de Profesional
Documentos de Cultura
REDES NEURONALES
3.1 Introduccin
3.2 Mapeos de redes neuronales a arquitecturas de arrays
3.2.1 Diseo de redes multicapa: fase de recuperacin o funcionamiento
3.2.1.1 Arrays de Sistlicos lineales para la recuperacin de un patrn
3.2.2.2 Arrays de Sistlicos rectangulares para la recuperacin de mltiples patrones
3 2 2 Diseo de redes multicapa: fase de entrenamiento
3.2.2
3.2.3 Simulacin y diseo de un sistema
3.2.4 Diseo de redes autoorganizativas
3.2.4.1 Sistlico lineal para la implementacin del aprendizaje y funcionamiento
3.2.4.2 Sistlico rectangular para la implementacin del aprendizaje y funcionamiento
3.3 Circuitos de procesamiento neuronal
3.4 Neurocomputadores de propsito general
3.1 Introduccin
La computacin neuronal puede ser considerada como el rea de la informtica que
investiga modelos computacionales que apuntan a realizar actuaciones cuasi
humanas en los computadores mediante densas interconexiones de EPs muy simples.
humanas
Podemos definir la COMPUTACIN NEURONAL como el dominio de la computacin en el
cual un programa es una red donde cada conexin entre EPs tiene asociado un dato (i.e.
un peso) y los clculos involucran la manipulacin paralela de los pesos.
Los recientes avances en modelos de redes neuronales han sido soportados por
simulacin en computadores convencionales. Las tendencias actuales estn orientadas al
diseo de arquitecturas de Neurocomputadores formados por matrices de EPs
interconectados que operan concurrentemente.
Arquitecturas Especializadas (4 GII IC)
3.1 Introduccin
La clave para el diseo de modelos de RNA y Neurocomputadores est en la
comprensin de la forma en la que el cerebro usa sus sistemas neuronales para el
procesamiento de patrones.
3.1 Introduccin
En general los EPs pueden realizar sus operaciones bien de forma sincronizada o
asncronamente y sus caractersticas vienen, por tanto, determinadas por:
1. El nmero de entradas y el valor de las mismas, que puede ser binario (0 1), bipolar
( 1 1),
), o co
continuo.
uo
2. Los pesos asociados a cada conexin.
3. La ffuncin de activacin, q
que g
generalmente es una ffuncin lineal F(x)
( )=x
4. La funcin de salida, que calcula el estado de la neurona.
3.1 Introduccin
Las redes neuronales son grafos dirigidos que representan interconexiones entre EPs.
Cada una de estas conexiones lleva asociado un valor numrico llamado peso.
Una
U
a RNA ap
aprende
e de a reconocer
eco oce pa
patrones
o es lo
o hace
ace po
por medio
ed o de u
un ajus
ajustee de los
os pesos de
las conexiones entre los EPs. Una red recuerda o recupera patrones basndose en la
informacin
f
derivada de las asociaciones yya establecidas entre p
patrones de entrada y
de salida.
Procedimiento de Aprendizaje
a la
3.1 Introduccin
La mayora de los modelos de redes neuronales tienen importantes
requerimientos en cuanto a clculos y almacenamiento.
Durante la fase de entrenamiento se consumen muchos clculos, y en la fase de
f i
funcionamiento
i
o recuperacin
i se requiere
i
un alto
l grado
d de
d rendimiento
di i
para
reconocimiento en tiempo real.
El atractivo de la aproximacin digital para procesamiento en tiempo real depende de
su capacidad de procesamiento masivamente paralelo.
La mayora de los algoritmos neuronales conllevan primordialmente operaciones que
son repetitivas y regulares. Por tanto, pueden ser mapeados de forma eficiente a
arquitecturas paralelas.
Oculta
Salida
Entrada
Arquitecturas Especializadas (4 GII IC)
V = v 21v 22 v 23 v 24 v 25
ui
ai
j 1
wij x j
(i = 1,2...7)
u = W xT
ui
vij a j
j 1
yi
f ( ui )
f (u i )
i = 1,2,3
123
Capa Oculta
Para i= 1 a 5
u(i,0) = 0
para j = 1 a 7
x(0,j) = xj
x(i,j) = x(i 1,j)
u(i,j) = u(i,j 1)+ w(i,j)*x(i,j)
fin para
fin Para
u (i , j )
u (i , j 1) w (i , j ) x (i , j )
d1
0,1
x (i , j )
x (i 1, j )
d2
1,0
11
10
= 1,1
S = 1,0
S * d1
0; S * d 2
EP
AC
AC=AC+N*O
E=O
E
w11
a1
x1
w12
w21
a1
a2
x2
x1
w13
a1
x3
w22
w31
a2
a3
x2
x1
w14
w23
w32
w41
a1
a2
a3
a4
x4
x3
x2
x1
w15
w24
w33
a1
a2
x5
x4
w42
a3
x3
w51
a4
x2
a5
x1
a1
a(0,m) = al
para n = 1 a 3
a2
u(n,0) = 0
a(n,m) = a(n,m 1)
u(n,m) = u(n 1,m)+
w(n,m)*a(n,m)
para
fin p
a3
a4
a5
fin Para
y1
y2
y3
u(m, i , j )
d1
0,0,1
x (m, i , j )
x (m, i 1, j )
d2
0,1,0
1,0,0
w(m, i , j )
T
111
001
010
w(m 1, i , j )
= 1,1,1
111
d3
S=
0,0,1
0,1,0
S * d1
1
0
; S * d2
0
1
; S * d3
0
0
f (u j )
f (u i )
j
f (f
f (f
i
1
(a j ))
( y i ))(t i
yi )
donde
vijj g i
j
i
W g
Fase de adaptacin
p
de p
pesos Una vez calculados los trminos de error se modifican
f
los
pesos de conexin. Este procedimiento se puede formular como un producto externo:
ga T
hx T
y1
t1
y2
t2
g2
y3
t3
a1
g3
g1
h1
a2
h2
a3
h3
a4
h4
a5
h5
g2
g3
x1
a1
h1
a2
h2
a3
h3
a4
h4
a5
h5
(b)
(a)
x2
x3
x4
x5
x6
x7
V
a
a NOP a
G.D. 1 Fase
W
h
G.D. 2 y 3 Fases
y
EP1
EP2
EP3
EP4
EP5
EPi
v
v (t
ki
AC 1
gk
1)
ki
AC 1
AC 1
a
a g
v * g
ki
ki
wij
gk
xj
hi
xj
wij = wij+ hixj
hi
N
Wo (por filas)
O
E
AC
Vs (por columnas)
1)AC=AC+N*O;
E=O
2) E=AC*N+O
Vs (por columnas)
c)
N
b)
Wo (por filas)
a)
O
x
t
EP1
EP2
EPK
AC1
1) AC1
AC1=AC1+O*N;
AC1 O N; E
E=O
O
Z=N+O*AC
2) Z= N+AC1
N+AC1*O;
O; E=O
w12
w13
w14
w15
w16
w17
w18
w19
w110
w111
w112
w113
w114
w21
w31
w41
w51
w61
w71
w22
w32
w42
w52
w62
w72
w23
w33
w43
w53
w63
w73
w24
W1
w34
w44
w54
w64
w74
w25
w35
w45
w55
w65
w75
w26
w36
w46
w56
w66
w76
w27
w37
w47
w57
w67
w77
w28
w38
w48
w58
w68
w78
w29
w39
w49
w59
w69
w79
w210
w310
w410
w510
w610
w710
w211
wW2
311
w411
w511
w611
w711
w212
w312
w412
w512
w612
w712
w213
w313
w413
w513
w613
w713
w214
w314
w414
w514
w614
w714
v11 v12 v13 v14 v15 v16 v17 v18 v19 v110
v21 v22 v23 v24 v25 v26 v27 v28 v29 v210
v31 v32V1
v33 v34 v35 v36 v37 V2
v38 v39 v310
v41 v42 v43 v44 v45 v46 v47 v48 v49 v410
v51 v52 v53 v54 v55 v56 v57 v58 v59 v510
v61 v62 v63 v64 v65 v66 v67 v68 v69 v610
E = O;
Oini= g1
AC3 = AC3+N*O; AC3i === hi
N=N+ O*AC1
E=AC2+N*O
Oini=Efin
E=O+N*AC1;
Oini=0
No operacin
AC1=AC1+N*O
E=O
Oini = Xi
AC2=AC2+N*O
AC2i===Yoi+5
E=O
Oini = Xi
AC1i===Yoi
N
EP1
EP2
EP3
EP4
EP5
AC1
O
Arquitecturas Especializadas (4 GII IC)
AC2
AC3
AC4
W
W Pesos
(endmembers)
Coincidencia
i* x n
j 1,2,
,M
(3)
Actualizacin
S
*
detentrenamiento?
wi t Ms
1 patrones
wi t
t ,i ,i x n x n
n p
(7)
wi t
Parar?
S
40
Fin
Arquitecturas Especializadas (4 GII IC)
P j=1
Para
j 1 to M
s(j,0)= 0
Para i=1 to N
x(0,i)=xi
x1
x(j,i)=x(j
(j ) (j 1,i))
x2
xN
//x(n)-w1 //
Fin Para
//x(n)-w
( ) 2 //
N
E
Fin Para
S
WM
M*N
N
11
//x(n)-wM//
10
Arquitecturas Especializadas (4 GII IC)
N=S
E=(N-AC)*(N-AC)+W
w2N
.
.
.
w22
w21
*
w1N
.
.
.
w12
w11
x(n)
( )
EP 1
EP 2
w MN
..
.
w M2
w M1
*
*
.
*
EP M
N
W
A
E
AC
AC=AC+(N-W)*(N-W)
E=W
1
AC< >//x(n) wj//
AC<-->//x(n)-w
EP1
W
EP2
EP
AC
EPM
If (W<AC)
Th E = W
Then
Else
E=AC
w2N
.
.
.
w22
w21
*
w1N
.
.
.
w12
w11
x(n)
wMN
..
.
wM2
wM1
*
*
.
*
EP 1
EP M
EP 2
N
W
A
AC1
E1
N=N+AC1*(N-W)
E=W
AC1<--> *
M
Memoria:
i Cada
C d EP almacenar
l
una fila
fil de
d la
l matriz
t i de
d pesos en una memoria
i
RAM y poseer un Acumulador para almacenar las distancias y un registro flag
que se disparar en el EP correspondiente a la neurona ganadora
Comunicacin Los datos son transmitidos en una sola direccin entre los
elementos de proceso vecinos. Existiendo una conexin entre el ltimo EP y el
primero.
Procesamiento aritmtico Cada EP soportar todas las capacidades de
procesamiento aritmtico incluyendo las operaciones de multiplicacin,
comparacin y acumulacin, as como el acceso a una memoria dnde se
encuentren almacenados el valor de los parmetros de vecindad.
Arquitecturas Especializadas (4 GII IC)
Para k=1 a P
Para j=1 to M
s(p,j,0)= 0
P
Para
i 1 to N
i=1
x(p,0,i)=xpi
w(0 j i) = wji
w(0,j,i)
w(p,j,i) = w(p 1,j,i)
x(p j i)=x(p
x(p,j,i)
x(p,jj 1,i)
1 i)
s(p,j,i)= s(p,j,i 1)+(x(p,j,i) w(p,j,i)) *(x(p,j,i) w(p,j,i))
Fin Para
Fin Para
Fin Para
1 1 1
0 0 1
0 1 0
EP11
EP21
x2
EP12
EP22
x3
EP1N
S1
S2
EP2N
EPij
S
EPM1
EPM2
EPMN
S=N
E = O+(N AC)*(N AC)
SM
x1
x2
x3
x4
xN
EP11
EP12
EP1N
EP1
EP21
EP22
EP2N
EP2
NO NE
EPM1
EPM2
EPMN
EPM
O
EPi
SO SE
SO=min{O,NO}
SE =ii sii O
O<NO
NO
SE = NE si O>NO
Tipo
p conexionista
Se utilizan para funciones neuronales como reconocimiento y
clasificacin.
Los procesos se llevan a cabo por medio de alterar el modelo de
conexionado y los valores asociados con cada conexin.
Implementaciones digitales o hbridas CMOS, CCD y dispositivos
pticos.
Arquitecturas Especializadas (4 GII IC)
xi
|xi wij|22
Restador
Multiplicador
RAM
MAB
Sumador en cascada
Arquitecturas Especializadas (4 GII IC)
xj wij
xj
wij
((xj wij)2
RAM
(xj wij)2
+
+
+
WTA
+
+
+
RAM
RAM
RAM
RAM
Sumador en rbol
RAM
RAM
RAM
RAM
diferencias
MAB
Arquitecturas Especializadas (4 GII IC)
Calcula ganadora
TInMANN (Melton)
(salida OR de
otro procesador)
Lgica
condicional
e
c
P
c13 c12 c11 w13 w12 w11 T
+/
+
+
Seales de control
(del Controlador)
TInMANN
x
Clculo de diferencias
wij
xj
wij
wi
(salida OR de
otro procesador)
signo
Lgica
condicional
e
c
P
c13 c12 c11 w13 w12 w11 T
+/
+
+
xj
Seales de control
(del Controlador)
x wi
(al Controlador u otro
procesador)
N
j 1
xj
wij
TInMANN
Bus (10 bits)
Proc 2
Proc.
| w2|
|x
Proc. 1
|x w1|
Controlador global
Arquitecturas Especializadas (4 GII IC)
2M 1,...
Proc. 1
Controlador global
Arquitecturas Especializadas (4 GII IC)
Alternativas de Implementacin.
1. Implementar algoritmos Neuronales en mquinas
it t
existentes:
SIMD (Single Instruction, Multiple Data)
ConstaSistlicos
de un array de procesadores aritmticos con
memoria local. Puede soportar la mayora de los modelos
2 Construir aunque
2.
nuevos neurocomputadores
a partir
de
neuronales,
se tienen importantes
restricciones
chips comerciales
impuestas
por la arquitectura de la mquina.
3. Construir nuevos prototipos a partir de chips
ASIC
Arquitecturas Especializadas (4 GII IC)
Modelos de RNAs
Redes monocapa (Perceptrn y redes con regla delta)
Redes multicapa,
multicapa conexiones hacia delante (BP)
Redes recurrentes (Hopfield)
R d SOM
Red
Basado en Array sistlico GENES IV
Cola FIFO
Instrucc.
DSP
TMS
320C40
Controla
dor
Array
GENES IV
Memoria
x/y y
FIFO r/w
Memoria
dinmica
Comunicac.
Memoria
W y
Memoria
datos y
FIFO r/w
FIFO r/w
A
Array
GACD1
Mdulo de Control
Mdulo SIMD
Arquitecturas Especializadas (4 GII IC)
Enlaces de DSP
MANTRA I
MANTRA cliente
MANTRA servidor
WGTin
Nout
INSTRin
Unid Instrucc.
Unid.
Instrucc
INSTRout
Lin
Wout
10
L
1
W0
Ein
Lout
W1
Unidad
Aritmtica
Win
PS
Eout
Sout
WGTout
Uout Sin
Uin