Está en la página 1de 56

TEMA 3 ARQUITECTURAS PARA

REDES NEURONALES

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.1 Introduccin
3.2 Mapeos de redes neuronales a arquitecturas de arrays
3.2.1 Diseo de redes multicapa: fase de recuperacin o funcionamiento
3.2.1.1 Arrays de Sistlicos lineales para la recuperacin de un patrn
3.2.2.2 Arrays de Sistlicos rectangulares para la recuperacin de mltiples patrones
3 2 2 Diseo de redes multicapa: fase de entrenamiento
3.2.2
3.2.3 Simulacin y diseo de un sistema
3.2.4 Diseo de redes autoorganizativas
3.2.4.1 Sistlico lineal para la implementacin del aprendizaje y funcionamiento
3.2.4.2 Sistlico rectangular para la implementacin del aprendizaje y funcionamiento
3.3 Circuitos de procesamiento neuronal
3.4 Neurocomputadores de propsito general

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.1 Introduccin
La computacin neuronal puede ser considerada como el rea de la informtica que
investiga modelos computacionales que apuntan a realizar actuaciones cuasi
humanas en los computadores mediante densas interconexiones de EPs muy simples.
humanas
Podemos definir la COMPUTACIN NEURONAL como el dominio de la computacin en el
cual un programa es una red donde cada conexin entre EPs tiene asociado un dato (i.e.
un peso) y los clculos involucran la manipulacin paralela de los pesos.
Los recientes avances en modelos de redes neuronales han sido soportados por
simulacin en computadores convencionales. Las tendencias actuales estn orientadas al
diseo de arquitecturas de Neurocomputadores formados por matrices de EPs
interconectados que operan concurrentemente.
Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.1 Introduccin
La clave para el diseo de modelos de RNA y Neurocomputadores est en la
comprensin de la forma en la que el cerebro usa sus sistemas neuronales para el
procesamiento de patrones.

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.1 Introduccin
En general los EPs pueden realizar sus operaciones bien de forma sincronizada o
asncronamente y sus caractersticas vienen, por tanto, determinadas por:
1. El nmero de entradas y el valor de las mismas, que puede ser binario (0 1), bipolar
( 1 1),
), o co
continuo.
uo
2. Los pesos asociados a cada conexin.
3. La ffuncin de activacin, q
que g
generalmente es una ffuncin lineal F(x)
( )=x
4. La funcin de salida, que calcula el estado de la neurona.

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.1 Introduccin
Las redes neuronales son grafos dirigidos que representan interconexiones entre EPs.
Cada una de estas conexiones lleva asociado un valor numrico llamado peso.

Una
U
a RNA ap
aprende
e de a reconocer
eco oce pa
patrones
o es lo
o hace
ace po
por medio
ed o de u
un ajus
ajustee de los
os pesos de
las conexiones entre los EPs. Una red recuerda o recupera patrones basndose en la
informacin
f
derivada de las asociaciones yya establecidas entre p
patrones de entrada y
de salida.

Las RNA son inherentemente adaptativas en el sentido de que se ajustan


imprecisin, ambigedad y naturaleza de fallo de los datos del mundo real.
Segn Lippmann las RNA se caracterizan por unas pocas propiedades clave:
Topologa

Caractersticas de los nodos

Procedimiento de Aprendizaje

Arquitecturas Especializadas (4 GII IC)

a la

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.1 Introduccin
La mayora de los modelos de redes neuronales tienen importantes
requerimientos en cuanto a clculos y almacenamiento.
Durante la fase de entrenamiento se consumen muchos clculos, y en la fase de
f i
funcionamiento
i
o recuperacin
i se requiere
i
un alto
l grado
d de
d rendimiento
di i
para
reconocimiento en tiempo real.
El atractivo de la aproximacin digital para procesamiento en tiempo real depende de
su capacidad de procesamiento masivamente paralelo.
La mayora de los algoritmos neuronales conllevan primordialmente operaciones que
son repetitivas y regulares. Por tanto, pueden ser mapeados de forma eficiente a
arquitecturas paralelas.

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.2 Mapeo de Redes Neuronales a Arquitecturas de arrays


Los algoritmos neuronales pueden ser expresados con la utilizacin de operaciones
matriciales bsicas, tales como: producto externo, producto interno y multiplicacin de
matrices.
Un ejemplo
j
l tpico
i de
d arquitecturas
i
VLSI paralelas/segmentadas
l l /
d son los
l arrays de
d
sistlicos. Este tipo de arquitecturas proporcionan las siguientes ventajas clave:
En redes regulares y conectadas localmente la explotacin de la
segmentacin es muy natural. Adems producen un alto rendimiento, y
simultneamente ahorran el coste asociado con la comunicacin.
Suministran un buen balance entre computacin y comunicacin, lo cual es
decisivo para la efectividad de clculo de arrays.
Las arquitecturas VLSI de arrays parecen ser las ms adecuadas para soportar
la mayor parte de los modelos de redes neuronales.

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.2.1 Diseo de redes multicapa: fase de funcionamiento o recuperacin


Consideraremos el modelo de red neuronal mas popular, la red Back Propagation.

Oculta
Salida

Entrada
Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.2.1.1 Arrays de sistlicos lineales para la recuperacin de un patrn


Consideramos una red con 1 capa de entrada de 7 nodos, una capa oculta de 5 nodos y
una capa de salida de 3 nodos.

w11 w12 w13 w14 w15 w16 w17


w21 w22 w23 w24 w25 w26 w27
W

v11v12 v13 v14 v15

w31 w32 w33 w34 w35 w36 w37

V = v 21v 22 v 23 v 24 v 25

w41 w42 w43 w44 w45 w46 w47

v31v32 v33 v34 v35

w551 w552 w53 w554 w55 w56 w57

ui
ai

j 1

wij x j

(i = 1,2...7)

u = W xT

ui

Arquitecturas Especializadas (4 GII IC)

vij a j

j 1

yi

f ( ui )

f (u i )

i = 1,2,3
123

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.2.1.1 Arrays de sistlicos lineales para la recuperacin de un patrn

Capa Oculta
Para i= 1 a 5
u(i,0) = 0
para j = 1 a 7
x(0,j) = xj
x(i,j) = x(i 1,j)
u(i,j) = u(i,j 1)+ w(i,j)*x(i,j)
fin para
fin Para

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.2.1.1 Arrays de sistlicos lineales para la recuperacin de un patrn

u (i , j )

u (i , j 1) w (i , j ) x (i , j )

d1

0,1

x (i , j )

x (i 1, j )

d2

1,0

11
10

= 1,1

S = 1,0

Arquitecturas Especializadas (4 GII IC)

S * d1

0; S * d 2

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.2.1.1 Arrays de sistlicos lineales para la recuperacin de un patrn

Arquitecturas Especializadas (4 GII IC)

EP
AC

AC=AC+N*O
E=O
E

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.2.1.1 Arrays de sistlicos lineales para la recuperacin de un patrn

w11
a1
x1

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.2.1.1 Arrays de sistlicos lineales para la recuperacin de un patrn

w12

w21

a1

a2

x2

x1

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.2.1.1 Arrays de sistlicos lineales para la recuperacin de un patrn

w13
a1
x3

w22

w31

a2

a3

x2

x1

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.2.1.1 Arrays de sistlicos lineales para la recuperacin de un patrn

w14

w23

w32

w41

a1

a2

a3

a4

x4

x3

x2

Arquitecturas Especializadas (4 GII IC)

x1

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.2.1.1 Arrays de sistlicos lineales para la recuperacin de un patrn

w15

w24

w33

a1

a2

x5

x4

w42
a3
x3

Arquitecturas Especializadas (4 GII IC)

w51
a4
x2

a5
x1

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.2.1.1 Arrays de sistlicos lineales para la recuperacin de un patrn


Capa Salida
Para m= 1 a 5

a1

a(0,m) = al
para n = 1 a 3

a2

u(n,0) = 0
a(n,m) = a(n,m 1)
u(n,m) = u(n 1,m)+
w(n,m)*a(n,m)
para
fin p

a3
a4
a5

fin Para

y1

Arquitecturas Especializadas (4 GII IC)

y2

y3

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.2.1.1 Arrays de sistlicos lineales para la recuperacin de un patrn

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES

3.2.1.1 Arrays de sistlicos lineales para la recuperacin de un patrn

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.1.2 Arrays de sistlicos lineales para la recuperacin de mltiples patrones
Para la situacin en la que haya que recuperar mltiples patrones, se requiere un grafo
de dependencias cbico, (tridimensional) para la multiplicacin matriz por matriz. La
tercera dimensin se introduce para satisfacer el requisito de multiplicidad de patrones a
recuperar.
T

u(m, i , j )

u(m, i , j 1) w(m, i , j ) x (m, i , j )

d1

0,0,1

x (m, i , j )

x (m, i 1, j )

d2

0,1,0

1,0,0

w(m, i , j )
T

111
001
010

w(m 1, i , j )
= 1,1,1
111

d3
S=

0,0,1
0,1,0

S * d1

1
0

; S * d2

0
1

; S * d3

Para implementar la red inferior, necesitamos 35 = 7x5 EPs, dispuestos en el espacio


bidimensional, con 5 filas y 7 columnas
Para la red superior necesitaremos 15 EPs que almacenarn los pesos de dicha subred
Arquitecturas Especializadas (4 GII IC)

0
0

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.1.2 Arrays de sistlicos lineales para la recuperacin de mltiples patrones

Memoria: Hay almacenado un peso sinptico en cada EP.


Comunicacin: Cada EP requiere cuatro canales para comunicarse con sus cuatro vecinos.
Procesamiento Aritmtico: Los EPs interiores ejecutan multiplicaciones y acumulaciones,
acumulaciones
mientras que los EPs frontera deben soportar tambin operaciones no lineales.
Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.2 Diseo de redes multicapa: fase de entrenamiento aprendizaje
Clculo de propagacin del patrn hacia delante. A partir de un patrn de entrada se
calculan las salidas que producen todas las neuronas de la red evaluando primero las
neuronas de
d la
l capa oculta,
l ya que sus salidas
lid son necesarias
i para evaluar
l
ell resultado
l d de
d la
l
capa de salida. Esta fase involucra operaciones de multiplicacin matriz por vector (MVM).
Entonces el sistlico necesario coincide con el diseado para la fase de funcionamiento.
Propagacin del error hacia atrs se calcula el error en la capa de salida y a partir de l el
de la capa oculta. Consideremos los vectores g y h que representan las seales de error. Estos
vectores estn compuestos por los siguientes elementos:
gi
hj

f (u j )

f (u i )
j

f (f

f (f

i
1

(a j ))

( y i ))(t i

yi )

donde

vijj g i

j
i

W g

Fase de adaptacin
p
de p
pesos Una vez calculados los trminos de error se modifican
f
los
pesos de conexin. Este procedimiento se puede formular como un producto externo:

ga T

hx T

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.2 Diseo de redes multicapa: fase de entrenamiento aprendizaje

y1
t1

y2
t2

g2

y3
t3

a1

g3

g1

h1

a2

h2

a3

h3

a4

h4

a5

h5

g2

g3

x1

a1

h1

a2

h2

a3

h3

a4

h4

a5

h5
(b)

(a)

Arquitecturas Especializadas (4 GII IC)

x2

x3

x4

x5

x6

x7

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.2 Diseo de redes multicapa: fase de entrenamiento aprendizaje

V
a

a NOP a

G.D. 1 Fase

W
h

G.D. 2 y 3 Fases

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.2 Diseo de redes multicapa: fase de entrenamiento aprendizaje

y
EP1

EP2

EP3

EP4

EP5

EPi

v
v (t
ki

AC 1
gk

1)

ki

AC 1
AC 1
a

a g

v * g

ki

ki

wij
gk

xj

hi

xj
wij = wij+ hixj
hi

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.2 Diseo de redes multicapa: fase de entrenamiento aprendizaje

N
Wo (por filas)
O

E
AC

Vs (por columnas)

1)AC=AC+N*O;

E=O

2) E=AC*N+O

Vs (por columnas)

c)
N

b)
Wo (por filas)

a)

O
x
t

EP1

EP2

EPK

AC1

1) AC1
AC1=AC1+O*N;
AC1 O N; E
E=O
O
Z=N+O*AC

2) Z= N+AC1
N+AC1*O;
O; E=O

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.3 Simulacin y diseo de un sistema

En un diseo de un sistema de arrays, se deben maximizar los siguientes indicadores de


resultados:
Configuracin de arrays efectiva
Programabilidad para diferentes redes
Flexibilidad del particionado del problema
Tolerancia
Tolerancia a fallos
fallos, para suministrar una viabilidad del sistema
sistema.
Efecto de la longitud de palabra en la aritmtica de punto fijo punto flotante.
Utilizacin
Utilizacin eficiente de la memoria.

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.3 Simulacin y diseo de un sistema
Particonado
d y Reconfigurabilidad
f
bld d
Asignar las tareas de varias neuronas al mismo EP, sin incurrir en cambios con respecto a
las estrategias de clculos/comunicaciones y eficiencia en cuanto a procesamiento
paralelo/segmentacin, a carga computacional de cada capa puede ser uniformemente
distribuida a los EPs aun cuando el nmero de unidades de las capas diferentes sea
distinto.
distinto
w11

w12

w13

w14

w15

w16

w17

w18

w19

w110

w111

w112

w113

w114

w21
w31
w41
w51
w61
w71

w22
w32
w42
w52
w62
w72

w23
w33
w43
w53
w63
w73

w24
W1
w34
w44
w54
w64
w74

w25
w35
w45
w55
w65
w75

w26
w36
w46
w56
w66
w76

w27
w37
w47
w57
w67
w77

w28
w38
w48
w58
w68
w78

w29
w39
w49
w59
w69
w79

w210
w310
w410
w510
w610
w710

w211
wW2
311
w411
w511
w611
w711

w212
w312
w412
w512
w612
w712

w213
w313
w413
w513
w613
w713

w214
w314
w414
w514
w614
w714

w81 w82 w83


w812 w813 w814
811
W3w84 w85 w86 w87 w88 w89 w810 wW4
w91 w92 w93 w94 w95 w96 w97 w98 w99 w910 w911 w912 w913 w914
w101 w102 w103 w104 w105 w106 w107 w108 w109 w1010 w1011 w1012 w1013 w1014

Arquitecturas Especializadas (4 GII IC)

v11 v12 v13 v14 v15 v16 v17 v18 v19 v110
v21 v22 v23 v24 v25 v26 v27 v28 v29 v210
v31 v32V1
v33 v34 v35 v36 v37 V2
v38 v39 v310
v41 v42 v43 v44 v45 v46 v47 v48 v49 v410
v51 v52 v53 v54 v55 v56 v57 v58 v59 v510
v61 v62 v63 v64 v65 v66 v67 v68 v69 v610

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.3 Simulacin y diseo de un sistema
Particonado
d y Reconfigurabilidad
f
bld d
N=N+ *AC4*O
E=O; Oini=Efin
E = O;
Oini= Efin
AC4 = AC4+N*O; AC4i === hi+5
N=N+ O*AC1
N=N+ *AC3*O
E=O; Oini=Xi

E = O;
Oini= g1
AC3 = AC3+N*O; AC3i === hi
N=N+ O*AC1
E=AC2+N*O
Oini=Efin

E=O+N*AC1;
Oini=0

No operacin

AC1=AC1+N*O
E=O
Oini = Xi

AC2=AC2+N*O
AC2i===Yoi+5
E=O
Oini = Xi

AC1i===Yoi

N
EP1

EP2

EP3

EP4

EP5
AC1

O
Arquitecturas Especializadas (4 GII IC)

AC2
AC3
AC4

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.4 DISEO DE REDES AUTOORGANIZATIVAS

Un conjunto de N neuronas lineales, que recibirn la informacin total correspondiente.


Un conjunto de M neuronas de salida que forma una capa unidimensional de tipo
competitivo; cada una de estas neuronas representar una de las posibles M clases que
se pretenden obtener.
C
Conexiones
i
h
hacia
i d
delante
l
que unen cada
d
una de las N neuronas de entrada (j) con
cada una de las M neuronas salida (i)
(i).

W
W Pesos

(endmembers)

Conexiones laterales entre las M


neuronas de la capa de salida

Conexiones autorrecurrentes de una

neurona de salida sobre s misma


Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.4 DISEO DE REDES AUTOORGANIZATIVAS
Inicio
Inicializacin
Muestreo

Coincidencia

t=0; wi(0) = Aleatorio (i=1,2,...,M)


(i=1 2 M) ;
Elegir x(n) (n=1,2,...,p)

i* x n

min dist x(n),


) wj t
j

j 1,2,

,M

(3)

Actualizacin
S

*
detentrenamiento?
wi t Ms
1 patrones
wi t
t ,i ,i x n x n

n p

(7)

wi t

Parar?

S
40

Fin
Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.4.1 Sistlico lineal para la implementacin del aprendizaje y funcionamiento

P j=1
Para
j 1 to M
s(j,0)= 0
Para i=1 to N
x(0,i)=xi

x1

x(j,i)=x(j
(j ) (j 1,i))

x2

xN

s(j,i)= s(j,i 1)+(x(j,i) w(j,i)) *(x(j,i) w(j,i))

//x(n)-w1 //

Fin Para

//x(n)-w
( ) 2 //

N
E

Fin Para
S

WM
M*N
N

11

//x(n)-wM//

10
Arquitecturas Especializadas (4 GII IC)

N=S
E=(N-AC)*(N-AC)+W

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.4.1 Sistlico lineal para la implementacin del aprendizaje y funcionamiento

w2N
.
.
.
w22
w21
*

w1N
.
.
.
w12
w11

x(n)
( )

EP 1

EP 2

w MN
..
.
w M2
w M1
*
*
.
*

EP M

N
W
A

E
AC

AC=AC+(N-W)*(N-W)
E=W
1
AC< >//x(n) wj//
AC<-->//x(n)-w

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.4.1 Sistlico lineal para la implementacin del aprendizaje y funcionamiento

EP1
W

EP2
EP
AC

EPM
If (W<AC)
Th E = W
Then
Else
E=AC

w2N
.
.
.
w22
w21
*

w1N
.
.
.
w12
w11

x(n)

wMN
..
.
wM2
wM1
*
*
.
*

EP 1

EP M

EP 2
N

W
A

Arquitecturas Especializadas (4 GII IC)

AC1

E1

N=N+AC1*(N-W)
E=W
AC1<--> *

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.4.1 Sistlico lineal para la implementacin del aprendizaje y funcionamiento

M
Memoria:
i Cada
C d EP almacenar
l
una fila
fil de
d la
l matriz
t i de
d pesos en una memoria
i
RAM y poseer un Acumulador para almacenar las distancias y un registro flag
que se disparar en el EP correspondiente a la neurona ganadora
Comunicacin Los datos son transmitidos en una sola direccin entre los
elementos de proceso vecinos. Existiendo una conexin entre el ltimo EP y el
primero.
Procesamiento aritmtico Cada EP soportar todas las capacidades de
procesamiento aritmtico incluyendo las operaciones de multiplicacin,
comparacin y acumulacin, as como el acceso a una memoria dnde se
encuentren almacenados el valor de los parmetros de vecindad.
Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.4.2 Sistlico rectangular para la implementacin del aprendizaje y
funcionamiento

Para k=1 a P
Para j=1 to M
s(p,j,0)= 0
P
Para
i 1 to N
i=1
x(p,0,i)=xpi
w(0 j i) = wji
w(0,j,i)
w(p,j,i) = w(p 1,j,i)
x(p j i)=x(p
x(p,j,i)
x(p,jj 1,i)
1 i)
s(p,j,i)= s(p,j,i 1)+(x(p,j,i) w(p,j,i)) *(x(p,j,i) w(p,j,i))
Fin Para
Fin Para

Fin Para

1 1 1
0 0 1
0 1 0

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.4.2 Sistlico rectangular para la implementacin
del aprendizaje y
x5
x4
f
funcionamiento
xN
x1

EP11

EP21

x2

EP12

EP22

x3

EP1N

S1

S2

EP2N

EPij

S
EPM1

EPM2

EPMN

S=N
E = O+(N AC)*(N AC)
SM

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.2.4.2 Sistlico rectangular para la implementacin del aprendizaje y
funcionamiento

x1

x2

x3

x4

xN

EP11

EP12

EP1N

EP1

EP21

EP22

EP2N

EP2

NO NE

EPM1

EPM2

EPMN

EPM
O

EPi

SO SE

SO=min{O,NO}
SE =ii sii O
O<NO
NO
SE = NE si O>NO

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.3 CIRCUITOS DE PROCESAMIENTO NEURONAL

Dan importancia a la implementacin sobre un chip en lugar


d a lla construccin
de
i de
d un sistema
i
Las aproximaciones de diseo directo y dirigido se dividen en :
Tipo biolgico
Desarrollar un elemento sinttico para verificar hiptesis
concernientes a sistemas biolgicos (funciones auditivas, de visin etc).
Implementados en dispositivos VLSI CMOS.

Tipo
p conexionista
Se utilizan para funciones neuronales como reconocimiento y
clasificacin.
Los procesos se llevan a cabo por medio de alterar el modelo de
conexionado y los valores asociados con cada conexin.
Implementaciones digitales o hbridas CMOS, CCD y dispositivos
pticos.
Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.3 CIRCUITOS DE PROCESAMIENTO NEURONAL
Ejemplos
l de
d Circuitos Neuronales
l

COKOS (COprocessor for KOhonen Self organizing Map,


Speackman)
Consta
C
de
d 8 MAB (Memory
(M
A
Arithmetic
ih
i B
Board)
d)

xi
|xi wij|22

Restador

Multiplicador
RAM

MAB

Sumador en cascada
Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.3 CIRCUITOS DE PROCESAMIENTO NEURONAL
Ejemplos
l de
d Circuitos Neuronales
l

xj wij

xj
wij

((xj wij)2

RAM

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.3 CIRCUITOS DE PROCESAMIENTO NEURONAL
Ejemplos
l de
d Circuitos Neuronales
l

(xj wij)2
+
+
+

WTA

+
+
+

RAM
RAM

RAM
RAM

Sumador en rbol

RAM
RAM
RAM
RAM

diferencias

MAB
Arquitecturas Especializadas (4 GII IC)

Calcula ganadora

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.3 CIRCUITOS DE PROCESAMIENTO NEURONAL
Ejemplos
l de
d Circuitos Neuronales
l

TInMANN (Melton)
(salida OR de
otro procesador)
Lgica
condicional

e
c

P
c13 c12 c11 w13 w12 w11 T

+/

+
+

Seales de control
(del Controlador)

Bus (del Controlador)

(al Controlador u otro


procesador)

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.3 CIRCUITOS DE PROCESAMIENTO NEURONAL
Ejemplos
l de
d Circuitos Neuronales
l

TInMANN
x

Clculo de diferencias
wij

xj

wij

wi
(salida OR de
otro procesador)

signo
Lgica
condicional

e
c

P
c13 c12 c11 w13 w12 w11 T

+/

+
+

xj
Seales de control
(del Controlador)

Bus (del Controlador)

x wi
(al Controlador u otro
procesador)

Arquitecturas Especializadas (4 GII IC)

N
j 1

xj

wij

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.3 CIRCUITOS DE PROCESAMIENTO NEURONAL
Ejemplos
l de
d Circuitos Neuronales
l

TInMANN
Bus (10 bits)
Proc 2
Proc.

| w2|
|x

Proc. 1

|x w1|

Controlador global
Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.3 CIRCUITOS DE PROCESAMIENTO NEURONAL
Ejemplos
l de
d Circuitos Neuronales
l

Bus (10 bits)


Proc 2
Proc.
i*

2M 1,...

Proc. 1

Controlador global
Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.4 NEUROCOMPUTADORES DE PROPSITO GENERAL

Alternativas de Implementacin.
1. Implementar algoritmos Neuronales en mquinas
it t
existentes:
SIMD (Single Instruction, Multiple Data)
ConstaSistlicos
de un array de procesadores aritmticos con
memoria local. Puede soportar la mayora de los modelos
2 Construir aunque
2.
nuevos neurocomputadores
a partir
de
neuronales,
se tienen importantes
restricciones
chips comerciales
impuestas
por la arquitectura de la mquina.
3. Construir nuevos prototipos a partir de chips
ASIC
Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.4 NEUROCOMPUTADORES DE PROPSITO GENERAL
EJEMPLO: MANTRA I

Modelos de RNAs
Redes monocapa (Perceptrn y redes con regla delta)
Redes multicapa,
multicapa conexiones hacia delante (BP)
Redes recurrentes (Hopfield)
R d SOM
Red
Basado en Array sistlico GENES IV

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.4 NEUROCOMPUTADORES DE PROPSITO GENERAL
EJEMPLO: MANTRA I
Bus del microprocesador

Cola FIFO
Instrucc.

DSP
TMS
320C40

Controla
dor
Array
GENES IV

Memoria
x/y y
FIFO r/w

Memoria
dinmica
Comunicac.

Memoria
W y

Memoria
datos y
FIFO r/w

FIFO r/w
A
Array
GACD1

Mdulo de Control

Mdulo SIMD
Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.4 NEUROCOMPUTADORES DE PROPSITO GENERAL
EJEMPLO: MANTRA I

Estaciones de trabajo de usuario


ethernet
Md l SIMD
Mdulo
Mdulo de control

Enlaces de DSP

Front end con


DSP interno

MANTRA I
MANTRA cliente

MANTRA servidor

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.4 NEUROCOMPUTADORES DE PROPSITO GENERAL
EJEMPLO: MANTRA I

CIRCUITO DEL GENES IV.


Unidad Aritmtica

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.4 NEUROCOMPUTADORES DE PROPSITO GENERAL
EJEMPLO: MANTRA I

CIRCUITO DEL GENES IV.

Arquitecturas Especializadas (4 GII IC)

Tema 3 ARQUITECTURAS PARA REDES NEURONALES


3.4 NEUROCOMPUTADORES DE PROPSITO GENERAL
EJEMPLO: MANTRA I

CIRCUITO DEL GENES IV.


Nin

WGTin

Nout

INSTRin
Unid Instrucc.
Unid.
Instrucc

INSTRout
Lin

Wout

10

L
1

W0

Ein

Lout

W1

Unidad
Aritmtica

Win

PS

Eout

Sout

WGTout

Arquitecturas Especializadas (4 GII IC)

Uout Sin

Uin

Arquitecturas Especializadas (4 GII IC)

También podría gustarte