Universidad Nacional del Callao

Facultad de Ingeniería Industrial y de Sistemas

Escuela Profesional de Ingeniería de Sistemas

Sistemas Basados en Conocimientos (SBC)

Tema de la clase:
Algoritmos de Aprendizaje

Mg. Msc. Ing. Sally Torres

sktorresa@unac.edu.pe
Sistemas
Teoría deBasados en Conocimiento
la Lenguajes y Compiladores FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Contenido
Aprendizaje

Aprendizaje Supervisado Algoritmos

Modelo de una Neurona

Tipos de funciones de activación

Arquitectura de red

Representación del conocimiento

Sistemas
Teoría deBasados en Conocimiento
la Lenguajes y Compiladores FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 4.1 Aprendizaje

3
Sistemas
Teoría deBasados en Conocimiento
la Lenguajes y Compiladores FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Aprendizaje

• El aprendizaje es el proceso por medio del cual, los

parámetros libres de una red neuronal son adaptados a
través de un proceso de estimulación por el ambiente en
el cual la red se encuentra inmersa.

• El tipo de aprendizaje es determinada por la manera en la

cual el cambio de parámetros tiene lugar.

Mendel and Mc Claren (1970)

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Aprendizaje

• El aprendizaje es el proceso por el cual una red neuronal

modifica sus pesos en respuesta a una información de
entrada.

• Los cambios que se producen durante el proceso de

aprendizaje son la destrucción, modificación y creación
de conexiones entre las neuronas.

• W = 0 Destrucción; W › 0 Creación Aprendizaje

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Tipos de Aprendizaje

• Aprendizaje Supervisado
• Entrada, salida, objetivo

• Aprendizaje No supervisado
• entrada, salida

• Aprendizaje por Reforzamiento .

• Recompensa/castigo

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Reglas de Aprendizaje
• Aprendizaje Supervisado
A la red se le proporciona un conjunto de ejemplos del
comportamiento propio de la red (inputs/targets)

• Aprendizaje No supervisado
Las entradas son las unicas disponibles para el aprendizaje,
el algoritmo de la red aprende a categorizar las entradas
(clustering)

• Aprendizaje por Reforzamiento

A la red se proporciona un grado de desempeño de la
misma. 4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 4.2 Aprendizaje
Supervisado-
Algoritmos

3
Sistemas
Teoría deBasados en Conocimiento
la Lenguajes y Compiladores FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Aprendizaje Supervisado
Se realiza mediante un entrenamiento controlado por un agente
externo (supervisor, maestro), que determina la respuesta que
debería generar la red a partir de una entrada determinada.

Algoritmo de Aprendizaje supervisado

Se realiza mediante un entrenamiento controlado por un agente

externo (supervisor, maestro), que determina la respuesta que
debería generar la red a partir de una entrada determinada.
• Aprendizaje por Corrección de error.
• Aprendizaje por Refuerzo.
• Aprendizaje Estocástico
4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Aprendizaje Supervisado

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Aprendizaje Por corrección de Error

• Consiste en ajustar los

pesos de las
conexiones de la red en
función de la diferencia
entre los valores
deseados y los
obtenidos en la salida
de la red; es decir en
función del error
cometido en la salida.
• Alfa : factor de
aprendizaje (0<alfa<1)
4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Ejemplo de corrección de Error
• Regla de aprendizaje del perceptrón.

• Regla delta ( Δ ) o del mínimo error cuadrado ; LMS

(Widrow - Hoff).

• Regla delta generalizada o algoritmo de

Retropropagación de error (Rumelhart, Hinton, Williams),

• Ejemplos de Redes: Perceptrón, Adaline/Madaline, y

Backpropagation

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Redes que utilizan el aprendizaje por corrección
de Error

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 4.3 Aprendizaje
No
Supervisado
Algoritmos

3
Sistemas
Teoría deBasados en Conocimiento
la Lenguajes y Compiladores FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Aprendizaje no Supervisado

El aprendizaje no
supervisado o
autosupervisado no hay
un maestro o critico
externo para supervisar
el proceso de
aprendizaje. No existen
ejemplos etiquetados de
la función que será
aprendida por la red.

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Aprendizaje no Supervisado

• Esta constituido por un conjunto de reglas que dan a la red

la habilidad de aprender asociaciones entre los patrones
que ocurren en conjunto frecuentemente.
• Una vez aprendido como asociación permite a las redes
realizar tareas útiles de reconocimiento de patrones y
recordar.

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Aprendizaje no Supervisado

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Redes con Aprendizaje no Supervisado
También llamado autosupervisado, no requieren influencia
externa para ajustar los pesos de las conexiones entre sus
neuronas.
existen varias posibilidades en cuanto a la interpretación de la
salida de estas redes, que dependen de su estructura o del
algoritmo de aprendizaje empleado los casos de salida pueden
representar:
• grado de familiaridad o similitud entre la información que se
presenta a la entrada y las informaciones que se han
mostrado hasta entonces.
• Agrupamiento o establecimiento de categorías.
• Prototipado, es decir obtener ejemplares representantes de
las clases a las que pertenecen las informaciones de entrada.
4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Redes con Aprendizaje no Supervisado

• Codificación de los datos de entrada, generando a la salida

una versión codificada de la entrada, con menos bits, pero
manteniendo la información relevante de los datos.
•
• Mapeo de características, obteniendo a la salida un mapa
topográfico de las características de los de entrada, de tal
forma que si se presentan en la red informaciones
similares, siempre sean afectadas neuronas de salida
próximas entre si, en la misma zona del mapa.

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Redes con Aprendizaje no Supervisado

• El aprendizaje Supervisado no involucra valores objetivo.

De hecho, los objetivos son los mismos que las entradas.
•
• En otras palabras, el aprendizaje no supervisado
usualmente realiza la misma tarea que una red
autoasociativa, la compresión de la información de las
entradas.

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Algoritmos de Aprendizaje no Supervisado

Tipos de aprendizaje No Supervisado

• Aprendizaje Asociativo

• Aprendizaje Competitivo y cooperativo

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Algoritmos de Aprendizaje no Supervisado

¿Qué es una Asociación?

Es cualquier relación entre la entrada de un sistema y su
salida de tal forma que cuando el patrón A se presenta al
sistema este responde con un patrón B .
Algoritmos de Aprendizaje no supervisado:
- Aprendizaje Hebbiana.
- Aprendizaje competitivo.
- Aprendizaje Hebbiana diferencial.
- Aprendizaje competitiva diferencial.

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Algoritmos de Aprendizaje no Supervisado

Aprendizaje Hebbiano . Donald O. Hebb (1949)

Pretende medir la familiaridad o extraer características de los
datos de entrada. Este tipo de aprendizaje consiste en el
ajuste de los pesos de las conexiones de acuerdo con la
correlación (multiplicación en el caso de valores binarios +1, -
1) de los valores de activación (salidas) de las dos neuronas
conectadas:

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Algoritmos de Aprendizaje no Supervisado

Aprendizaje Hebbiano . Donald O. Hebb (1949)

• Si las dos unidades son activas (positivas), se produce un
reforzamiento de la conexión.
• Cuando una unidad es activa y la otra pasiva (negativa) se
produce un debilitamiento de la conexión.
• Ejemplos de redes: Red de Hopfield, Additive Grossberg,
Shunting Grossberg, Learning Matrix, BAM, TAM, LAM.

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Algoritmos de Aprendizaje no Supervisado

Variantes del Aprendizaje Hebbiano

• Drive - Reinforcement (Sejnowski)
• Hebbiano Diferencial (Kosko)
• Aprendizaje Hebbiano Difuso (Kosko)
• Adaptive bidirectional associative memory (ABAM en 1987)
• Fuzzy Asociative Memory (FAM), utilizando aprendizaje
Hebbiano Difuso.
• También se utiliza el aprendizaje hebbiano combinado con otros
métodos, esto se puede ver en las redes :
• Maquina de Boltzmann
• Maquina de Cauchy
• Counterpropagation (CPN en 1987)
• Learning Vector Quantization (LVQ).
4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Algoritmos de Aprendizaje no Supervisado

Aprendizaje Competitivo y Cooperativo.

• En estas redes las neuronas compiten y cooperan unas
con otras con el fin de llevar a cabo una tarea dada.
• Cuando se presenta a la red cierta información de entrada,
solo una de las neuronas de salida o un cierto grupo de
neuronas, se activan. quedando anuladas las demás
(valores de respuesta mínimos).

El objetivo de este tipo de aprendizaje es categorizar

(Clustering) los datos que se introducen en la red.

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Algoritmos de Aprendizaje no Supervisado
Ejemplos de Redes con Aprendizaje Competitivo y Cooperativo:
LVQ (Learning Vector quantization) Kohonen.
• Cognitron y Neocognitron (Fukushima).
• SOM (Kohonen).
• ART (Carpenter y Grossberg).

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Algoritmos de Aprendizaje no
Supervisado
Metas del Aprendizaje No supervisado
• El encontrar grupos de información
• Reducción de la dimensionalidad
• la Construcción de mapas topográficos
• el encontrar las causas ocultas o fuentes de datos
• Modelar la densidad de datos

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Algoritmos de Aprendizaje no Supervisado

Usos del Aprendizaje No supervisado

• Compresión de Datos.
• Clasificación.
• Hacer otras tares de aprendizaje mas fácil.
• Una teoría del aprendizaje humano y la percepción

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 4.4 Aprendizaje
Por Refuerzo
Algoritmos

3
Sistemas
Teoría deBasados en Conocimiento
la Lenguajes y Compiladores FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Aprendizaje Por Refuerzo

Aprendizaje por
Reforzamiento.
El aprendizaje de una
comparación entrada/salida
se desempeña a través de
la interacción continua del
medio ambiente de tal
forma que se minimice un
índice escalar de su
desempeño.
4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Aprendizaje Por Reforzamiento

Se basa en la idea de no disponer de un ejemplo completo del

comportamiento deseado, es decir, de no indicar durante el
entrenamiento exactamente la salida que se desea que
proporcione la red ante una determinada entrada

La función del supervisor se reduce a indicar mediante una

señal de refuerzo si la salida de la red se ajusta a la deseada
(éxito=1, fracaso=-1) y en función de ello se ajustan los pesos
basándose en un mecanismo de probabilidades.

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Algoritmos de Aprendizaje Por Refuerzo
• Algoritmo Lineal con Recompensa y penalización (Linear
Reward - Penalty), Narendra /Thathacher.
• Algoritmo Asociativo con recompensa y penalización (Barto /
Anandan).
• Adaptive Heuristic Critic (Barto, Sutton, Anderson).

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Algoritmos de Aprendizaje Por Refuerzo
Aprendizaje por Refuerzo
Es un aprendizaje supervisado mas lento que el anterior que
se basa en la idea de no disponer de un ejemplo completo del
comportamiento deseado, es decir, la función del supervisor se
reduce a indicar mediante una señal de refuerzo si la salida de
la red se ajusta a la deseada (éxito=1, fracaso=-1) y en función
de ello se ajustan los pesos basándose en un mecanismo de
probabilidades.

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Algoritmos de Aprendizaje Por Refuerzo

Ejemplos de algoritmos que usan el Aprendizaje por Refuerzo

• Algoritmo Lineal con Recompensa y penalización (Linear

Reward - Penalty), Narendra /Thathacher.

• Algoritmo Asociativo con recompensa y penalización (Barto /

Anandan).

• Adaptive Heuristic Critic (Barto, Sutton, Anderson)

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Algoritmos de Aprendizaje Estocástico

Aprendizaje Estocástico
Este tipo de aprendizaje consiste en básicamente en realizar
cambios aleatorios en los valores de los pesos de las
conexiones de la red y evaluar su efecto a partir del objetivo
deseado y de distribuciones de probabilidad.

• Posee una analogía en términos termodinámicos.

• El estado energético E representa el grado de estabilidad.
• Un estado de mínima energía representa que su función se
aproxima al objetivo deseado.
• La función de Lyapunov se emplea típicamente.

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Algoritmos de Aprendizaje estocástico

Ejemplos de algoritmos de Aprendizaje Estocástico

• Maquina de Boltzmann (Hinton, Ackley, Sejnowky).

• Temple Simulado (Simulated Anneling).
• Maquina de Cauchy (Szu)

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Algoritmos de Aprendizaje Por Reforzamiento

Aprendizaje por Reforzamiento

El aprendizaje de una comparación entrada/salida se

desempeña a través de la interacción continua del medio
ambiente de tal forma que se minimice un índice escalar de su
desempeño

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 4.5 Tipos e
Asociación
Entrada/Salida

3
Sistemas
Teoría deBasados en Conocimiento
la Lenguajes y Compiladores FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Tipos de Asociación Entrada/salida

Tipos de Asociación entre las Informaciones de Entrada y

Salida

Heteroasociación:
Se refiere al caso en el que la red aprende parejas de datos; de
tal forma que cuando se presente cierta información de entrada
A i , deberá responder generando la correspondiente salida
asociada Bi.

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Tipos de Asociación Entrada/salida

Tipos de Asociación entre las Informaciones de Entrada y

Salida
Autoasociación:
La red aprende cierta informaciones A 1 , A 2 , ... A N , de tal
forma que cuando se le presenta cierta información de entrada
realizará una autocorrelación respondiendo con uno de los
datos almacenados, el más parecido al de entrada

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Tipos de Asociación Entrada/salida
Características de las Redes Hetereoasociativas
Precisan al menos de dos capas.
• Conectividad:
• Con conexiones hacia delante (Perceptrón, Backpropagation,
etc..)
• Con conexiones hacia atrás (Art, Bam, etc..)
• Con conexiones laterales (CABAM)
• Con capas multidimensionales (Neocognitron).
• Aprendizaje
• Con supervisión (Perceptron, Backpropa-tion, etc..)
• Sin supervisión (Art, Bam, etc.)
• Objetivo de utilización
• Computar una función general de entrada.
• Clasificación de datos de entrada.
4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Tipos de Asociación Entrada/salida
Redes Autoasociativas
Una red autoasociativa asocia una información de entrada con
el ejemplar más parecido de los almacenados conocidos por la
red. De esta manera, su principal misión es reconstruir una
determinada información de entrada que se presenta
incompleta o distorsionada.

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Tipos de Asociación Entrada/salida

Características de las Redes Autoasociativas

Precisan al menos de una capa
• Conectividad
• Conexiones laterales entre las neuronas (Hopfield, etc.)
• Conexiones autorrecurrentes (Brain-State in-a-Box,
Additive Grossberg, etc).
• Aprendizaje
• No supervisado (Hopfield, Additive Grossberg, etc..)
• Objetivo de utilización
• Filtrado de información para la reconstrucción de datos
• Facilitar la búsqueda por contenido en bases de datos
• Resolver problemas de optimización

4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres
 Tipos de Asociación Entrada/salida
REPRESENTACIÓN DE LA INFORMACIÓN DE ENTRADA Y
SALIDA.
Las neuronas pueden también clasificarse por el tipo de entradas y
salidas que manejen.
Así unas redes manejaran valores analógicos en sus entradas y
salidas, es decir valores reales continuos. Cuando esto ocurre las
funciones de activación de las neuronas serán también continuas,
del tipo lineal o sigmoidal.
Otras redes admiten solamente valores discretos o binarios (0, 1) en
sus entradas y salidas, en este caso las funciones de activación
serán del tipo escalón. Existen un tipo de redes que podrían
denominarse como híbridas en los que los valores de entrada
pueden ser valores continuos, aunque las funciones de salida sean
discretas. 4
Sistemas
Sistemas Basados
Basados en
en Conocimiento
conocimiento FIIS-UNAC Mg. Ing.
Mg. Msc. Msc.Sally
Sally Torres
Torres