Redes Neuronales Artificiales

Sergio Cerón Figueroa

1
Introducción - Neurona

2
Introducción - Sinapsis

• Espacio de comunicación entre un axon y otra neurona

• Puede ser eléctrica o química

3
Introducción - Sinapsis

• Existe un potencial de despolarización que transmite el impulso

eléctrico o químico hacia otras neuronas (Potencial Exitatorio/
Inhibitorio Postsináptico).

• Durante este proceso la neurona no es susceptible a estímulos

sinápticos.

4
Una breve historia

• 1943 - McCulloch and Pitts. Neurona Artificial.

• 1949 - Donald O. Hebb. Aprendizaje Hebbiano.

• 1957 - Frank Rosenblatt. Perceptrón simple.

• 1960 - Widrow and Hoff. Adaline.

• 1969 - Minsky and Papert. Perceptrons.

• 1982 - John J. Hopfield. Renacimiento de las RNA.

• 1986 - Rumelhart, Hinton and Williams. Backpropagation

Neurona Artificial

• McCulloch and Pitts (1943) crearon el primero modelo original de una

neurona artificial.

Donde:

6
Ejemplos

-2
• AND
1 x1 x2 y
0 0 0
0 1 0
1
1 0 0
1 1 1
-2

• OR 2
x1 x2 y
0 0 0
2 0 1 1
1 0 1
1 1 1

7
Redes Neuronales Multicapa

• Se generaliza la función de activación.

• Pueden resolver problemas como el XOR.

• Hay neuronas de entrada.

1
1 1 1
x1 x2 y
1
0 0 0
-2
1
1.5 0.5 0 1 1
1
1
1 0 1
1 1 1 1 0

8
Aprendizaje por corrección de error

Consiste en actualizar los pesos de las neuronas tomando en cuenta

la diferencia entre la salida real y la obtenida.

donde:

por lo tanto

9
Perceptrón Simple

• Creado por Frank Rosenblatt en 1957.

• Tiene las mismas limitaciones de la neurona artificial.

• Usa la siguiente función de activación:

donde:

es el producto interno entre el vector de entrada

y el vector de pesos

es el umbral
Perceptrón Multicapa

• Paul J. Werbos (1974) - The Roots of Backpropagation

• Supera las limitaciones del Perceptron Simple y de Adaline

• Sirve como un aproximador universal de funciones no-lineales.

• Rumelhart, Hinton and Williams (1986) - Formalizan Backpropagation.

Aprendizaje del Perceptrón Multicapa

Consiste en minimizar una función de error.

Las técnicas mas comunes son:

• Descenso de gradiente

Fullpropagation

Backpropagation

Quickpropagation

• Gradiente Conjugado

• Quasi-Newton
Backpropagation

Consiste en minimizar el error causado al clasificar un patrón,

utilizando un algoritmo de descenso por gradiente.

donde:

dk es el valor esperado

yk es el valor obtenido

Por lo tanto, se requiere que la función de activación sea derivable.

Backpropagation - Funciones de Act.

• Funciones sigmoidales

Ejemplos:
• función logística
• arcotangente
• tangente hiperbólica
• función de error

• Funciones de base radial

Backpropagation - Descenso de gradiente

• Consiste en ajustar los pesos en dirección opuesta al gradiente del

error, esto es:
Backpropagation - Ajuste de pesos

El ajuste de pesos queda de la siguiente manera:

Para la capa de salida:

Para las capas ocultas

Backpropagation - Ejemplo

• Todos los pesos se inicializan en 1

• La función de activación es una función logística

Backpropagation - Entrenamiento

• Modo Batch (offline)

• Se presentan todos los patrones y después se ajustan los pesos

• Se realiza por medio de épocas

• Importa el orden en que se presenten los patrones

• Modo Single Instance (online)

• No corresponde estrictamente a un descenso de gradiente

• Minimiza en error asociado a un patrón y no al error global

Backpropagation - Consideraciones

• Puede converger en un mínimo local

• Overshooting

• No existe metodología para formar la red (capas ocultas)

Teóricamente una capa oculta es suficiente para capturar la no-

linealidad de un problema.