cenidet

Centro Nacional de Investigacion y Desarrollo Tecnologico.

Ciencias de la computacion. Inteligencia Artificial.

Redes Neuronales.
Christian Hern
andez Becerra
Tarea 24-26: XOR 3D
(Clase del 07 Marzo 2016).

1.

Tarea 24: Valores no binarios.

Se hace la clasificacion de patrones para observar dinamicamente (grafica animada) la linea

de clasificacion del perceptron. Graficar en dos dimensiones los 11 patrones (6 bolitas rojas
RD=1 y 5 cuadritos azules RD=0). Graficar la lnea de clasificacion cada vez que:
a) se avance un patron
b) se llegue al final de cada epoca
Valores de inicio W = [4, 0], = 0.
x1 x2 Clase 1
2 4
1
1
3 3
4 2
1
3 5
1
4 4
1
1
5 3

x1 x2 Clase 2
0 4
0
0
1 3
2 2
0
3 1
0
0
4 0

Para modificar los pesos experimentar con:

a) Algoritmo de Rosenblatt
Wi = [40]. i = 0. Wf = [1 3]. f = 4. El ajuste tomo 100000 Epocas. No se logro.
b) Con W = (Z S) E
Wi = [40]. i = 0. Wf = [53]. f = 21. El ajuste tomo 42 Epocas.

c) Con W = (Z S) E y cambiando con saltos de tama

no k.
Si k = 1 es el caso anterior.
k=2
Wi = [40]. i = 0. Wf = [64]. f = 26. El ajuste tomo 28 Epocas

k=5
Wi = [40]. i = 0. Wf = [33]. f = 15. El ajuste tomo 8 Epocas

k = 8 Wi = [40]. i = 0. Wf = [33]. f = 16. El ajuste tomo 6 Epocas

2.

Tarea 25, Tendencias

Propongo un cambio del algoritmo que aprovecha las tendencias reduciendo de un tiempo
lineal de epocas a un tiempo logaritmico.
Basicamente consiste en un constante dinamica que sigue la tendencia de los pesos y el
umbral hasta que se note un cambio, calculando en cada iteracion el valor que deberan tener
los pesos y el umbran en 2 epocas si no se presentaran cambios:

Inicia en con valor = 1.

En cada epoca, si la pendiente de la recta se mantentiene constante se asigna 2 , es

decir, se duplica el valor de .

En cada epoca, si la pendiente de la recta se cambia se asigna 1 , es decir, se establece

el valor de = 1.

2.1.

W = [300, 24, 67], = 789

. En la tarea anterior (sin el algoritmo propuesto) obtuvimos:

Wf = [295, 295, 296]. f = 294. El ajuste tomo 501 Epocas.
3

Antes de mostrar la implementacion del algoritmo, veamos que hay tres regiones en el tiempo
que son interesantes, la primera de 0 a 125, la segunda de 125 a 225 y la tercera de 225 a 501.
Es decir, cada region del tiempo dura 125, 100 y 275 epocas aproximada y respectivamente.
Se sabe que 27 = 128 y que 28 = 256, entonces una aproximacion discreta de las nuevas
epocas sera.

log2 (125) + log2 (100) + log2 (275) 7 + 7 + 9 = 23

(1)

Esto resulta impresionantemente mejor comparado con 501 epocas.

Ahora implementaremos el algoritmo. Se muestran las potencias de 2 acumuladas del valor
para cada uno de los pesos y , por ejemplo Epoca 5. [phi phith] = [4 4 5 4]. Significa
que en la epoca 5 del entrenamiento w1 , w2 , llevan un salto de lo que seran 24 = 16 epocas
en el algoritno anterior y w3 lleva un salto de 25 = 32 epocas.

Epoca
Epoca
Epoca
Epoca
Epoca
Epoca
Epoca
Epoca
Epoca
Epoca
Epoca
Epoca
Epoca

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.

[phi
[phi
[phi
[phi
[phi
[phi
[phi
[phi
[phi
[phi
[phi
[phi
[phi

phith]
phith]
phith]
phith]
phith]
phith]
phith]
phith]
phith]
phith]
phith]
phith]
phith]

=
=
=
=
=
=
=
=
=
=
=
=
=

[0
[1
[2
[3
[4
[5
[6
[7
[0
[0
[1
[2
[3

0
1
2
3
4
5
6
7
0
0
1
2
3

1
2
3
4
5
6
7
8
0
0
1
2
3

0].
1].
2].
3].
4].
5].
6].
7].
0].
0].
1].
2].
3].

Epoca
Epoca
Epoca
Epoca
Epoca
Epoca
Epoca
Epoca
Epoca
Epoca
Epoca
Epoca

14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.

[phi
[phi
[phi
[phi
[phi
[phi
[phi
[phi
[phi
[phi
[phi
[phi

phith]
phith]
phith]
phith]
phith]
phith]
phith]
phith]
phith]
phith]
phith]
phith]

=
=
=
=
=
=
=
=
=
=
=
=

[4
[5
[6
[0
[0
[0
[1
[2
[3
[4
[5
[6

4
5
6
7
0
0
1
2
3
4
5
0

4
5
6
7
0
0
1
2
3
4
5
6

4].
5].
6].
0].
0].
0].
1].
2].
3].
4].
5].
0].

= Wi [300, 24, 67]. i = 789. Wf = [363312 451]. f = 309. El ajuste tomo 25 Epocas.
Que es un valor cerca de lo que se esperaba. En este ejemplo se refiere a una optimizacion
de 501 a 25, es decir una reduccion de 95 % aproximadamente.
4

3.

Tarea 26 3D XOR con learning rate

Wi = [300, 24, 67]. i = 789. Wf = [13001024 3067]. f = 789. El ajuste tomo 8 Epocas
Wi = [300, 24, 67]. i = 789. Wf = [200324 467]. f = 189. El ajuste tomo 8 Epocas
Wi = [300, 24, 67]. i = 789. Wf = [290294 307]. f = 289. El ajuste tomo 52 Epocas
Wi = [300, 24, 67]. i = 789. Wf = [290299 302]. f = 289. El ajuste tomo 103 Epocas
Wi = [300, 24, 67]. i = 789. Wf = [294296 297]. f = 293. El ajuste tomo 252 Epocas

Wi = [300, 24, 67]. i = 789. Wf = [295295 2,955000e + 02]. f = 2,945000e + 02. El

ajuste tomo 1000 Epocas
Wi = [300, 24, 67]. i = 789. Wf = [2,948000e + 022,950000e + 02 2,954000e + 02]. f =
2,948000e + 02. El ajuste tomo 2498 Epocas