Observar el siguiente video: Entrenamiento de Perceptrón Multicapa

https://www.youtube.com/watch?v=OWgAtvadHGU
Tarea Antes de clase

Veí el video: “Video 1. Entrenamiento de Perceptrón Multicapa”

En un documento Word formular Preguntas y Respuestas con el contenido de los
videos.
Nombre del archivo: “S6s1_TAC_PaternoM.docx”
Cada alumno presenta la tarea en Canvas en “Tarea Antes de Clase”.
Saberes previos:
1. Describir los pasos del algoritmo LMS?
2. ¿Cuál es la limitación de la red ADALINE?
3. ¿Qué es la red MLP?
4. Describir los pasos del algoritmo Backpropagation
5. ¿Dónde están ubicadas ADALINE y MLP en función de su topología?
 ¿Cuál es la limitación de ADALINE?
 Comparar los algoritmo de SLP y ADALINE.
 ¿Es posible entrenar la RNA de la compuerta XOR?.
REDES NEURONALES Y LOGICA
DIFUSA
Semana 6. Sesión 1:
MLP: Algoritmo LMS y Backpropagation

Profesor
Mag. Jorge Luis Blanco R.
 LOGRO DE LA
SESIÓN
Al finalizar la sesión el estudiante utiliza el algoritmo de
entrenamiento LMS y Backpropagation para su trabajo de
laboratorio.
CONTENIDO:
1. Adaline (Adaptive Lineal Element -
Adaptive Lineal Neuron)
2. Algoritmo LMS (Least Mean Square)
3. MLP (Multiple Layer Perceptron)
4. Algoritmo Backpropagation
5. Tarea en clase
6. Tarea después de clase
1. Adaline

Las RNA en función del patrón de conexiones

(topología):
• Monocapa.
 Las redes de • Ejemplos:
propagación hacia
• Perceptrón
delante
monocapa (SLP)
• Adaline.
 Las redes recurrentes.
• Multicapa.
• Ejemplos:
• Ejemplos:
• Elman,
• Perceptrón
• Hopfield, multicapa (MLP)
• máquina de Boltzmann.
1. Adaline
1. Adaline

• La Red Adaline fue desarrollada en el 1960 por Bernard Widrow y su

estudiante Marcian Hoff de la universidad de Stanford.
• ADALINE proviene de Adaptive Lineal Element (Elemento Lineal
Adaptativo), pero antes de que se le diera este nombre esta red sufrió un
cambio ya que primeramente se llamaba Adaptive Lineal
Neuron (Neurona Linear Adaptiva), dicho cambio se dio por que la Red
Adaline es un dispositivo que consta de un único elemento de
procesamiento, como tal no es técnicamente considerada una red neuronal.
• Adaline fue desarrollada para el reconocimiento de patrones binarios, por
ejemplo predecir el siguiente bit en una línea telefónica
1. Adaline

• Las Redes ADALINE son redes muy similares al Perceptrón con la diferencia de
que su función de activación es lineal en lugar de ser un limitador fuerte como es el
caso del Perceptrón, estas presentan la misma limitación del Perceptrón respecto al
tipo de problemas que pueden resolver, ya que
ambas redes solo pueden resolver problemas linealmente separables.
• Son redes de aprendizaje supervisado que usan la regla de Widrow –
Hoff para dicho aprendizaje o también denominada regla Delta. El algoritmo que
estas usan es el LMS (Least Mean Square) siendo este más eficiente que
la regla de aprendizaje del Perceptrón puesto que minimiza el error medio
cuadrático.
• Adaline está limitada a una única neurona de salida, un vector “x” como
su entrada y un número real “y” como su salida.
1. Adaline

Características
• Es un tipo de aprendizaje OFF Line.
• Se enmarca dentro del tipo de aprendizaje por corrección de error.
• Se utiliza para entrenar un Elemento Simple de Procesado, con una
función de transferencia lineal.
• Se le conoce también con el nombre de Regla de Widrow-Hoff.
(Adaline: Adaptive Linear Elemento).
• Se pueden combinar un cierto Nº de PEs en la capa de salida (estructura
con un cierto grado de complejidad). La regla se aplica sobre cada uno
de los PE de manera individual.
1. Adaline

Conclusiones
• Una simple capa de PE lineales pueden realizar
aproximaciones a funciones lineales o asociación de patrones.
• Una simple capa de PE lineales puede ser entrenada con
algoritmo LMS.
• Relaciones No Lineales entre entradas y salidas no
pueden ser representadas exactamente por redes lineales. Dichas
redes harán aproximaciones lineales.
• Otro tipo de redes abordarán la resolución de problemas no
lineales.
2. Algoritmo LMS

1. Inicializar los pesos en forma aleatoria

2. Introducir un patrón de entrada
3. Calcular la salida (y), compararla con la deseada (d) y
obtener la diferencia (dp - yp)
4. Multiplicar el resultado del paso anterior por la entrada
correspondiente a cada uno de los pesos y ponderarla
por la tasa de aprendizaje.
5. Actualizar los pesos, sumando al valor antiguo la cantidad
obtenida en el paso anterior
6. Si no se ha cumplido el criterio de parada, regresar al paso
2, si se ha acabado todos los patrones repetir el
algoritmo.
2. Algoritmo LMS

Criterios de parada:
Criterio 1: Fijar un número de ciclos máximo. Dicho número
debe garantizar que el error cuadrático para los patrones de
entrenamiento se haya estabilizado.
Criterio 2: Cuando el error cuadrático sobre los patrones de
entrenamiento no cambia durante x ciclos.
Criterio 3: Cuando el error cuadrático sobre los patrones de
validación no aumenta o se mantiene estable a lo largo de x ciclos.
3. MLP
3. MLP
3. MLP
3. MLP
3. Algoritmo Backpropagation
3. Algoritmo Backpropagation
3. Algoritmo Backpropagation
3. Algoritmo Backpropagation
3. Algoritmo Backpropagation
3. Algoritmo Backpropagation
3. Algoritmo Backpropagation
6. Tarea en clase
(en equipo con presentación individual)

Entrenar las siguientes redes:

a. Adalina de la FL condicional
b. Backpropagation de la FL XNOR
6. Tarea después de clase
(en equipo con presentación individual)

Entrenar las siguientes redes:

a. Adalina de la FL bicondicional
b. Backpropagation de la FL A (A
XNOR B)
 CIERRE
 ¿Dónde se encuentran ubicadas las RNA ADALINE y
MLP en función de su topología?
 ¿Cuál es la limitación de ADALINE?
 Comparar los algoritmos de SLP y LMS.
 ¿Es posible entrenar la RNA de la compuerta XOR?.