Documentos de Académico
Documentos de Profesional
Documentos de Cultura
s
Algoritmo backpropagation II
Detalles:
SSE: E=SE
p
=S (y
pk
-o
pk
)
2
Dw
ij
=-h E/ w
ij
Pasos:
Inicializacin:
Construccin de la red.
Inicializacin aleatoria de pesos y umbrales (-0.5, 0.5)
Criterio de terminacin (nmero mximo de iteraciones,).
Contador de iteraciones n=0.
Fase hacia delante:
Calcular la salida de la red para cada patrn de entrada.
Calcular el error total cometido (SSE)
Si la condicin de terminacin se satisface, parar
Fase hacia atrs:
Algoritmo backpropagation III
Fase hacia atrs:
Incrementar el contador n=n+1.
Paca cada neurona de salida calcualr: d
k
=(o
k
-y
k
)f(net
k
)
donde net
j
=S
i
w
ij
x
i
+b
j
Para cada unidad oculta, calcular d
j
=f(net
j
)S
k
d
k
w
jk
Actualizar pesos: Dw
ij
(n+1)=hd
j
o
i
+aDw
ij
(n)
Volver a la fase hacia delante.
Inconvenientes del algoritmo backpropagation:
Tiempo de entrenamiento no acotado.
Dependiente de las condiciones iniciales:
Parlisis de la red.
Mnimos locales.
Algoritmo Backpropagation IV
Underfitting.
Memorizacin o Sobreaprendizaje.
Caracterizacin de la red. Cuantas capas, cuantas neuronas en
cada capa,?
Redes Neuronales no supervisadas I
Autoorganizativas: durante el proceso de aprendizaje la red debe
descubrir por si misma regularidades o categoras => la red debe
autoorganizarse en funcin de las seales procedentes del entorno.
Mapa de Rasgos Autoorganizados, SOM (Kohonen, 80)
Caractersticas:
Red competitiva
Arquitectura unidireccional de dos capas:
Capa de entrada: m neuronas una por cada vector de
entrada.
Capa segunda se realiza el procesamiento, formando el
mapa de rasgos. Tiene nx X ny neuronas operando en
paralelo.
Todas las neuronas de entrada estn conectadas a las
neuronas de la segunda capa, a travs de los pesos wij
Redes Neuronales No-Supervisadas II
Cada neurona (i,j) calcula la similitud entre el vector de entradas y
su vector de pesos
Vence la neurona cuyo vector de pesos es ms similar al vector de
entrada.
Cada neurona sirva para detectar alguna caracterstica del vector
de entrada.
Funcin de vecindad:
relacin entre neuronas
prximas en el mapa.
RNA no supervisadas III
Aprendizaje:
Inicializacin de los pesos wij
Presentacin de las entradas x(t)
Cada neurona calcula, la similitud entre su vector de pesos wij y
el vector de entrada x, usando la distancia Eucldea
Determinacin de la neurona ganadora:
Actualizacin de los pesos de la neurona ganadora y sus vecinas
Las dems neuronas no actualizan su peso
Si se ha alcanzado el nmero de iteraciones parar, si no volver
al paso 2.
VENTAJAS
Ventajas de las RNA:
Aprendizaje adaptativo: lo necesario es aplicar un buen
algoritmo y disponer de patrones (pares) de entrenamiento.
Auto-organizacin => conduce a la generalizacin
Tolerancia a fallos: las redes pueden aprender patrones que
contienen ruido, distorsin o que estn incompletos.
Operacin en tiempo real: procesan gran cantidad de datos en
poco tiempo.
Facilidad de insercin en tecnologa ya existente.
APLICACIONES
Deteccin de patrones.
Filtrado de seales
Segmentacin de datos
Control
Identificacin.
Redes Neuronales en
identificacin de sistemas
Identificacin de sistemas
La identificacin consiste en calcular un modelo del sistema en base
a datos experimentales.
Pasos:
Seleccionar una clase de modelos (CARIMA, Box-Jenkis,...)
Obtener un conjunto de datos experimentales
Seleccionar un modelo de la clase elegida
Estimar los parmetros (mtodo de Identificacin: LS,RLS,IV,...)
Validacin (exactitud, adecuacin de uso)
Sistema
Entrada: u(t) Salida: y(t)
RNA que representan el tiempo
Representacin del tiempo.
Tratamiento de seales.
Identificacin de modelos dinmicos
Control de sistemas.
Redes dinmicas:
Respuesta a:
Las entradas actuales
La historia pasada del sistema.
Dotar de memoria a la red:
Introduciendo directamente en la red tanto la seal actual
como los valores pasados.
Mediante conexiones recurrentes.
Red PML con ventana temporal
Ventanas de datos pasadas de las entradas y de las salidas.
Ventajas:
Algoritmo simple es suficiente
No problemas de realimentacin
Desventajas
Informacin til debe caber en la ventana temporal
Muchas entradas Sobreparametrizacin
u(t)
u(t-1)
u(t-2)
u(t-m)
y(t-1)
y(t-2)
ym (t)
Redes neuronales recurrentes
Redes neuronales parcialmente
recurrentes:
Conexiones recurrentes con
valores fijos
Algoritmo de aprendizaje ve
una red perceptrn multicapa
Ejemplos:
Jordan
Elman
Redes neuronales recurrentes:
Todas las neuronas
interconectadas
Computacionalmente costoso
Estructuras neuronales para la
identificacin
Determinacin o eleccin de la estructura del modelo.
Es necesario un modelo neuronal?
Nos basamos en modelos establecidos en el caso lineal
Diseo:
Variables que forman parte del regresor (t)
Funcin no-lineal g(,) desde el espacio de regresiones al
espacio de salida NO en modelos lineales
y(t)=g(q,(t))+e(t)
Estructura de caja negra: modelo de entrada- salida.
Elementos del regresor:
Entradas pasadas u(t-k)
Salidas pasadas medidas: y(t-k)
Salidas pasadas calculadas por el modelo:
u
(t-k|q)
Residuos pasados calculados: e
u
(t-k)=y(t-k)-
u
(t-k|q)
Modelo NARX
Ventajas:
Puede aproximar cualquier sistema no-lineal arbitrariamente
bien
No recurrente.
Desventajas:
Vector de regresin puede ser grande
No se modela el ruido
u
t
g
y
t
) ( t y
y
t
(t)=[y(t-1) ... y(t-n) u(t-k) ... u(t-m-k+1)]
T
)), ( , ( ) ( t g t y q
Modelo NOE
u
t
g
t
y
y
t
) ( t y
y
t
T
k m t u k t u n t y t y t )] 1 ( ... ) ( ) | (
... ) | 1 (
[ ) ( q q
) ), ( ( ) | (
q q t g t y
Corresponde a una red recurrente, ya que parte de las entradas
constituye la salida de la propia red.
Comprobacin difcil para modelo de prediccin estable
Entrenamiento laborioso por clculo correcto de gradientes
Validacin
Validacin: es el proceso de comprobacin de la utilidad de modelo
obtenido:
Si el modelo concuerda con los datos observados
Si servir al propsito para el que fue creado
Si describe el sistema real
Enfoque neuronal:
Conjunto de datos de entrenamiento
Conjunto de datos de test.
Conjunto de datos de validacin.
Enfoque basado en correlaciones:
Test de blancura de los residuos
Ejemplo I
Transforma un producto A en otro B
Reaccin qumica exotrmica
Se controla la temperatura mediante
una camisa por la que circula un
refrigerante
Salidas:
Ca Cb Tl Tr
Entradas:
Manipulables: Fl Fr
Perturbaciones medibles:
Ca0 Tl0 Tr0
Camisa
Reactor
Fl, Ca0, Tl0
Fr, Tr0
Ca, Cb, Tl Tr
A B
Ejemplo II
El periodo de muestreo es T = 0.2 horas
Las entradas han de ser tales que provoquen todas las salidas de
inters
Ejemplo III
Se normalizan los datos de entrada y salida
Se entrenan cuatro redes, cada una modela una salida
Se usa el algoritmo backpropagation
R.N.A. Elman
R.N.A. Elman
R.N.A. Elman
R.N.A. Elman
Ca
Cb
Tl
Tr
Fl
Fr
Ca0
Tl0
Tr0
Ejemplo IV
Validacin del modelo.
De forma neuronal: test son saltos en Fr
Ejemplo V
Correlaciones: blancura de los residuos