GENERALIZACIÓN

DE LA REGLA DELTA: Múltiples entradas

Vamos a abordar el caso de la generalización de la regla delta para cubrir el caso de
más de dos entradas y varios niveles de profundidad. Observe la Figura 4.

Figura 4.


En este caso, tenemos 4 entradas, 6 neuronas y el problema de determinar el valor
que deben tener 20 variables; además observe que no todas las entradas están
conectadas a las neuronas 1,2 y 3, y que la cantidad de entradas para las neuronas 5 y
6 es también diferente. Compare la Figura 4 con la Figura 3 para observar todas las
diferencias.

A continuación vamos a derivar la regla delta generalizada para este tipo de redes
neuronales:


Paso 0:
Asignar valores aleatorios pequeños (usualmente entre -1 y 1), a las variables W0, W1,
W2, W3 y W4, V0, V1, V2 y V3, t0, t1, y t2, n0, n1 y n2, m0, m1, m2 y m3, y finalmente,
para p0, p1 y p2. Nótese que ahora el problema contiene 20 variables. Estos valores
generan un punto de partida para la regla DELTA.

Paso 1:
Tomar un renglón de la tabla, y calcular la salida S que proporciona la red al usar los
valores de X1, X2, X3 y X4 en el renglón usado (nótese que ahora la tabla de
conocimiento debe tener 4 columnas para las 4 entradas, en lugar de las 2 que
habíamos considerado en ejercicios previos), junto con los valores para las variables
W0, W1, W2, W3 y W4, V0, V1, V2 y V3, t0, t1, y t2, n0, n1 y n2, m0, m1, m2 y m3, y p0,
p1 y p2:

S= f(suma4*p1 + suma5*p2 + p0)

donde:

suma4 = f(suma1*n1 + suma2*n2 +n0)
suma5 = f(suma2*m1 + suma1*m2 + suma3*m3 + m0)

suma1 = f(X1*W1 + X2*W2 + X3*W3 + X4*W4 + W0)
suma2 = f(X4*V1 + X3*V2 + X2*V3 + V0)
suma3 = f(X2*t1 + X1*t2 +t0)

NOTA IMPORTANTE: Obsérvese que siempre se comienza por determinar el valor de S, y posteriormente se
procede a determinar el valor de las salidas de las neuronas a la izquierda de la última neurona (suma4 y
suma5), y una vez que se determinan, se procede a calcular las de más a la izquierda (suma1, suma2,
suma3). Sin embargo, cuando se programan, estas expresiones se programan justamente en orden inverso.

Paso 2:
Calcular el error DELTA obtenido entre la salida actual de la red (el valor de S
calculado en el paso 1), y la salida deseada para el renglón en la tabla que se está
usando (SD):
Δ = SD-S
ε4 = Δ* p1
ε5 = Δ* p2
ε1 = (ε4 * n1) + (ε5 * m2)
ε2 = (ε4 * n2) + (ε5 * m1)
ε3 = ε5 * m3

NOTA IMPORTANTE: Obsérvese que siempre se comienza por determinar el valor de Δ , y posteriormente
se procede a determinar el valor de los errores locales de las neuronas a la izquierda de la última neurona
(ε4 y ε5), y una vez que se determinan, se procede a calcular las de más a la izquierda (ε1, ε2, ε3).

Paso 3:
Actualizar los valores de W0, W1 y W2 para obtener una mejor solución:

W0 = W0 + ε1
W1 = W1 + ε1*X1
W2 = W2 + ε1*X2
W3 = W3 + ε1*X3
W4 = W4 + ε1*X4

V0 = V0 + ε2
V1 = V1 + ε2*X4
V2 = V2 + ε2*X3
V3 = V3 + ε2*X2

t0 = t0 + ε3
t1 = t1 + ε3*x2
t2 = t2 + ε3*x1

n0 = n0 + ε4
n1 = n1 + ε4*suma1
n2 = n2 + ε4*suma2

m0 = m0 + ε5
m1 = m1 + ε5*suma2
m2 = m2 + ε5*suma1
m3 = m3 + ε5*suma3

p0 = p0 + Δ
p1 = p1 + Δ*suma4
p2 = p2 + Δ*suma5


Paso 4:
Revisar el valor Δ obtenido para cada renglón de la tabla. Si cada Δ obtenido para
todos los renglones es 0, el proceso termina y la solución actual es la buscada, pero si
al menos uno de los Δ no es 0, se repite el proceso desde el paso 1, tomando el
siguiente renglón en la tabla.




EJERCICIO 1: Basándose en el ejemplo anterior, determine la regla delta generalizada
para la red neuronal de la figura 5.

EJERCICIO 2: Basándose en el ejercicio 1, determine la regla delta generalizada para la
red neuronal de la figura 6. Note que el ejercicio 2 es muy similar al ejercicio1, si a éste
se le retira la última neurona (neurona 9). Para este ejercicio se requieren dos salidas,
S1 y S2 y dos errores finales: Δ1 y Δ2.




 Figura 5.

Figura 6.




Profr. LUIS C. ALTAMIRANO