Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Redes Neurales Bueno PDF
Redes Neurales Bueno PDF
REDES NEURALES
REFERENCIAS
• 1943. McCULLOCH Y PITTS. (“A Logical Calculus of
Ideas Immanent in Neurous Activity”).
• 1960. ROSENBLATT. El Perceptron.
• 1982. HOPFIELD. Enfoque energético. Algoritmo de
aprendizaje de propagación hacia atrás para perceptrones
multicapa. WERBOS.
• RUMELHART Y McCLELLAND. PDP.
McCULLOCH Y PITTS
ARQUITECTURAS DE RED
PERCEPTRON
n
v= ∑wx −u
j =1
j j
La ecuación
∑
j = 1
w jx j − u = 0
líneal define el límite
de decisión (un hipercubo en el espacio n-dimensional de
entrada) que divide por la mitad el espacio.
PERCEPTRÓN MULTICAPA
1 p (i )
E = ∑ y − d (i )
2
2 i =1
x − w cicj = min x − w ij
ij
ART1
-N
wij w ij
1 -1
Capa (entrante) Comparativa
A R
1 ρ
xj
x ji o i + A − 1 . 5 ) = {
x si ningún O se activa
V = Sgn 0 / 1 ( x j + ∑ j j
j
j x ∧ ∑ w O , en otro caso
j i ij i
(1) Inicializar wij = 1, para todo i,j. Activar toda las unidades
de salida.
(2) Presentar un nuevo patrón x
(3) Encontrar la unidad ganadora i* entre las unidades de
salida activadas w i * ⋅ x ≥ w j ⋅ x , para todo i.
r =
xι
w j*⋅
(4) Realizar el test de vigilancia ∑ x j j
RED DE HOPFIELD
Dos versiones:
• Binaria
• Continuamente valorada.
Sea vi el estado o salida de la i-esima unidad. Para redes
binarias vi es o +1 0 –1.
Para redes contínuas vi puede ser cualquier valor entre 0 y 1.
Sea wij el peso de las sinapsis en la conexión de las unidades
i,j.
En las redes de Hopfield, wij =wji, para todo i,j, y wii = 0, para
todo i.
El comportamiento dinámico para la red binaria es:
V i
= Sgn ( ∑ w v −θ )
ij j i
j
La modificación dinámica puede realizarse sincrónica o
asincrónicamente:
1
E = −
2
∑
i
∑ w v v
j
ij i j
TABLA DE MODELO-APRENDIZAJE-TAREAS
Paradigma Regla Arquitectura Algoritmo de Aprendizaje Tarea
perceptrón simple o multicapa - aprendizaje del perceptrón Clasificación de Patrones.
Corrección de
- Propagación hacia atrás Predicción de la aproximación
errores
- Adaline y Madaline de funciones y control
Boltzmann Recurrente aprendizaje de Boltzmann Clasificación de Patrones
Multicapa de propagación Análisis Lineal discriminante Análisis de Datos
Supervisado Hebbian
hacia delante Clasificación de Patrones
Competitivo Cuantización del vector de Categorización en clases
aprendizaje Compresión de datos
Competitivo
Red ART ARTMap Clasificación de Patrones
Categorización en clases
Corrección de Multicapa de propagación Proyección de Sammon Análisis de datos
errores hacia delante
De propagación hacia delante Análisis de componente principal Análisis de datos
Hebbian o competitivo Compresión de datos
Red de Hopfield Aprendizaje de memoria asociativa Memoria asociativa
No Supervisado
Competitivo Cuantizacion de vector Categorización
Compresión de datos
Competitivo SOM de Kohonen SOM de Kohonen Categorización
Análisis de datos
Red ART ART1, ART2 Categorización
Red RBF Algoritmode aprendizaje RBF Clasificación de patrones
Corrección de
Predicción de la función de
Híbrido errores y
aproximación
Competitivo
Control
PARADIGMAS DE APRENDIZAJE
REGLAS DE APRENDIZAJE
δ = g ' (h i )d
L
L
i
L
u
i
− y i
donde h
L
i
representa el input a la red en la unidad i-
ava en la l-ava capa y g’ es la derivada de la función de
activación g.
(5) Computar las deltas para las capas precedentes
propagando los errores hacia atrás.
δ = g ' ( h i ) ∑ wij δ
L | |+ 1 |+ 1
i j
j
para |= (L – 1),...,1.
(6) Modificar los pesos usando:
|− 1
∆w δ y
| |
ji
= η i j
APRENDIZAJE DE BOLTZMANN
∆w
|
ji
= η (ρ ij
− ρ ij
)
donde η es la ratio de aprendizaje ρ y ρ son las
ij ij
REGLA DE HEBB
∆ wij =
x j w ij i =i
*
0, i ≠ i
APLICACIONES
OCR (Reconocedor Óptico de Caracteres) mediante redes de
Neuronas