Identificacion de Modelos Borrosos y Neuronales

IDENTIFICACIN DE MODELOS BORROSOS Y NEURONALES
Introduccin
Equivalencia de sistemas borrosos y neuronales
Sistemas neuroborrosos
Tcnicas de identificacin
Identificacin y optimizacin
Tcnicas basadas en la derivada de la funcin
Mtodo del Gradiente
Mtodos de Newton
Mtodo del Gradiente Conjugado
Mtodo de Gauss-Newton
Mtodo de Levenberg-Marquardt
Tcnicas que no utilizan la derivada
Conclusiones
Curso: Control Inteligente y No Lineal. Tema 2: Identificacin de Modelos Borrosos y Neuronales, por Jos Luis Navarro y Jos Luis Dez.
1/44
Equivalencia de modelos borrosos y neuronales

Conjunto borroso
A ( x ): X [ 0,1]
A = {( x, A ( x )), x X}
Funcin de pertenencia gausiana (continuamente derivable)
A (x) = e
x x0 2
Utilizacin de la funcin producto como operador AND y funcin de implicacin
1,
Borrosificador tipo singleton A ( x ) =
0,
si x = x0
si x x0
Desborrosificador: media ponderada de los centros
v* =
l =1
M
v l(
(
l =1
A
l
( x ))
( x ))
2/44

Formulacin matemtica (M reglas, n entradas)
y ( ( x ))
( ( x ))
M
r
fi ( x ) =
l =1
i =1
l =1
i =1
Ail
Ail
Notas y aclaraciones
Modelo TSK fi es un aproximador universal (Wang, 1994)
g ( x) funcion continua en U (conjunto compacto de R n )
f i ( x ) sistema borroso
> 0, f i ( x)
sup xU f i ( x) g ( x) <
En la expresin se asume que puede haber M conjuntos borrosos por cada variable de
entrada
Cada regla puede tener un consecuente distinto
3/44

Redes con funciones radiales (Radial Basis Function Network)
c1
x1
c2
c3
x2
y fi ( x ) =
l =1
yl
i =1
A l ( xi )
i
c4
y ( ( x ))
( ( x ))
M
Si al modelo borroso anterior
r
fi ( x ) =
l =1
i =1
l =1
i =1
Ail
Ail
se le aade el requisito de normalidad en las funciones de las variables de

entrada, se obtienen modelos idnticos
Si se normaliza la salida de una red neuronal, se obtiene un modelo idntico al
borroso
4/44
Sistemas neuroborrosos
Cada operacin de un sistema fuzzy se representa mediante una neurona
especfica.
Ejemplo: Modelo ANFIS (Jang, 1997 disponible en la Matlab fuzzy
toolbox)
Equivalencia con modelo de TSK:
M
r
fi ( x ) =
w c (x)
l l
l =1
M
r
= wl cl ( x );
l =1
l =1
r
r
cl ( x ) = x' l + rl ; l n
wl = i =1 Al ( xi )
n
5/44
Sistemas neuroborrosos: ANFIS

If x1 is A1 and x2 is B1 then c1=p1 x1 + q1 x2 + r1
If x1 is A2 and x2 is B2 then c2=p2 x1 + q2 x2 + r2
fi ( x1, x2 ) =
A1
x1
x2
w1
w1c1 + w2 c2
w1 + w2
c1
A2
B1
B2
w2
c2
w1c1
w2c2
fi
6/44
Sistemas neuroborrosos: ANFIS

Fuzzy
B1
A1
A2
z1 =
p1*x+q1*y+r1
w1
B2
z=
z2 =
p2*x+q2*y+r2
w2
w1*z1+w2*z2
w1+w2
ANFIS (Adaptive Neuro-Fuzzy Inference System)

A1
A2
B1
w1
B2
w1*z1
wi*zi
w2*z2
wi
w2
7/44
Sistemas neuroborrosos: ANFIS de 4 reglas
Particin espacio entradas
A2
A1
B2
x
B2
B1
B1
A1
A2
ANFIS (Adaptive Neuro-Fuzzy Inference System)

x
y
A1
A2
B1
B2
w1
w1*z1
w4
w4*z4
wi*zi
wi
8/44
Sistemas neuroborrosos: identificacin ANFIS

Mtodo hbrido
nonlinear
parameters
x
y
A1
A2
B1
B2
MF param.
(nonlinear)
Coef. param.
(linear)
linear
parameters
w1
w1*z1
w4*z4
w4
wi*zi
wi
forward pass
backward pass
fixed
steepest descent
least-squares
fixed
9/44
La mayora de las tcnicas de identificacin (y diseo, y control adaptativo) son
tcnicas de aprendizaje supervisado que se reducen a encontrar los parmetros
(ptimos) que minimizan una funcin de coste (usualmente cuadrtica)
Identificacin
u
Sistema
Modelo
f(u,)
ym
Minimizacin
10/44
Control/adaptacin
Minimizacin
Control
r
Controlador
f(e,)
Sistema
Modelo referencia
yr
11/44
Modos de aprendizaje
Aprendizaje en modo batch: se presenta todo el conjunto de datos de
entrenamiento. Se minimiza la funcin de coste global J
Aprendizaje en modo incremental: Se va presentando iterativamente cada
dato y se realiza la adaptacin de los parmetros
Criterios de parada
La funcin de coste es menor que un cierto valor 1
El gradiente (en mdulo) es menor que 2
Equivalente a J(k+1) J(k) < 3
Se alcanzan un nmero mximo de iteraciones
12/44
Tcnicas de identificacin: funciones de coste ms utilizadas

r
Patrn de ensayo {(u i , ydi ), i = 1K M }
Error cuadrtico medio (mean squared error MSE)
()
( ))
2
r
r r
1 rT r 1 M
,
J =
e e=
y
f
u
di
i
M
M i =1
r
r
f (u , ) funcion parametrica
r
vector de parametros
r
y d comportamiento deseado
r
e diferencia entre el comportamiento deseado y el real
13/44
Tcnicas de identificacin: funciones de coste ms utilizadas

Error absoluto medio (MAE)
()
r
1
J =
M
y
i =1
di
( )
r r
f ui ,
Error cuadrtico medio con regularizacin
r
r T r (1 ) r T r
J =
e e+

M
n
()
Error cuadrtico (SSE)
J ( ) = eT We = ( yi f (ui , ))wij ( y j f (u j , ))
M
i =1 j =1
w ij Coeficientes de ponderacin de cada dato
14/44
Tcnicas de identificacin: ejemplo con SSE

ndice de coste cuadrtico
J ( ) = e T We = ( yi f (ui , ))wij ( yi f (ui , ))

M
i =1 j =1
f (u, ) funcion parametrica

vector de parametros
y comportamiento deseado
e diferencia entre el comportamiento deseado y el real
Objetivo: minimizar J()
Ejemplo: Identificacin por mnimos cuadrados (LSE)
Solucin analtica
J ( )
=0
2 J ( )
>0
2
W=I
f (u, ) lineal en parametros: f (u, ) = A( u)
J ( ) =
2
1 M
yi A(ui ))
(
2 i =1
1
$ = ( A T A) A T Y
15/44
Tcnicas de identificacin: ejemplo con SSE

Mnimos cuadrados recursivo:
se puede plantear el algoritmo de forma iterativa.
Pk +1 = Pk
Pk ak +1akT+1Pk
1 + akT+1 Pk ak +1
k +1 = k + Pk +1ak +1 (yk +1 akT+1 k )

ak+1 es el nuevo vector de regresores aadido en el instante k+1
16/44
Tcnicas de identificacin: ejemplo LMS

La salida del sistema es:
sk ( w ) = wr xk r = xk w
T
r =1
vector de parmetros w = [ w1 , ...,

seal auxiliar o referencia almacenada
Y la seal de error:
wp ]
x k = [ x k 1 , ..., x k p ]
T
ek ( w ) = y k sk ( w ) = y k x k w
Una opcin es calcular el error cuadrtico medio (MSE):

T
= ( w) = E (ek2 ( w)) = E ( yk xk w) 2 =
T
= E ( yk2 ) 2 w E ( xk yk ) + w E ( xk xk ) w =
T
= Ry 2 R xy w + w R x w
17/44

Los parmetros w ptimos sern aquellos que minimicen :
d
=0
d wo
R x w o = R xy
2 R x w o 2 R xy = 0
1
( ecuacin Wiener Hopf ) w o = R x R xy
Obteniendo:
T
min = R y 2 woT R xy + wo R x wo = R y wo R x wo = R y R xy R x R xy
18/44

Los problemas de minimizacin del MSE se pueden resolver analticamente o
plantear un problema de minimizacin iterativa, para el clculo de que , . Las
tcnicas a suelen ser:
GRADIENTE:
1
2
w k = w k w k 1 =
d
( w k 1 )
d
donde la iteracin k es la k-1 ms una correccin en la direccin del gradiente y es el

paso. En nuestro problema ser:
w k = ( R xy R x w k 1 )
NEWTON:
g ( w) =
por tanto:
w k = H ( w k 1 ) g ( w k 1 )
d
= 2 R x ( w w o );
dw
H ( w) =
d 2
d wd w
= 2R x
H ( w k 1 ) g ( w k 1 ) = ( w w o )
y la iteracin ser:
w k = ( w k 1 w o )
19/44

Los mtodos de resolucin vistos (iterativos o no) requieren el MSE conocido. Por
tanto, se han de conocer las matrices de covarianzas de x e y, informacin
estadstica no disponible en operaciones en tiempo real. La idea es reemplazar el
MSE por una estimacin en tiempo real:
Reemplazar E(ek2(w)) por ek2(w).
Reemplazar E(ek2(w)) por
k
J k ( w ) = k r er2 ( w ) = ek2 ( w ) + ek2 1 ( w ) 2 ek2 2 ( w ) + ...

r =1
donde es el llamado factor de olvido 0< <1

Determinar un modelo estocstico para los parmetros reales aunque desconocidos. Se
obtiene una ecuacin de estado en la que los estados son los parmetros variables con el
tiempo.
De forma muy general, la mayora de algoritmos adaptativos tienen la forma:

nuevo = viejo + ganancia x gradiente x error
20/44
10

EL ALGORITMO LMS
Filtros FIR.
Tomando el primer tipo de aproximacin:
T
ek ( w ) = y k sk ( w ) = y k xk w
= ( w ) = E ( ek2 ( w )) ek2 ( w )
Para estimar w se hace uso del algoritmo del gradiente:
w k w k 1 = w k =
1 de k2 ( w )
2
dw w = w
k 1
( x k ) 2 ek = x k ek
2
a lg oritmo LMS
T
ek = y k x k w k 1
w k =
en cada iteracin se necesita xk, wk-1 y ek. Inicialmente se toma wo=0.
Filtros IIR.
k = k ek , ek = y k k k 1
con kT = ( y k 1 ,..., y k p , x k 1 ,..., xk m )T
21/44
Tcnicas de identificacin: mtodos iterativos

Si no se dispone de solucin analtica: utilizar mtodos iterativos
Inconvenientes:
Mnimos locales
Convergencia
Mtodos iterativos descendentes

Objetivo: generar secuencia 0 , 1 , 2 ,K i ,K
que cumpla J ( 0 ) < J (1 ) <L< J ( i ) <L
k +1 = k + k d k
dk direccion de busqueda en el instante k
k tamao del salto para obtener el siguiente valor
22/44
11

Mtodos basados en el gradiente
La direccin de bsqueda dk se obtiene a partir del gradiente de la funcin J() en
J ( ) J ( )
J ( )
g( ) = J ( ) =
,
,K,
n
1
2
f(u,) debe ser derivable con respecto a
d k = Gg( k );
G definida positiva
J ( k +1 ) = J ( k + dk ) = J ( k ) + g T ( k )dk + O( 2 , 3 ,K)
Si << 1
J ( k +1 ) J ( k ) + g T ( k )dk = J ( k ) g T ( k )Gg( k ) < J ( k )
Objetivo : encontrar un valor de que satisfaga :
g ( k +1 ) =
J ( )
=
=0
k +1
23/44

Mtodo de la mxima pendiente (steepest descent)
constante: backpropagation
G = I;
k +1 = k g( k )
Distancia constante: gradiente normalizado
k +1 k = = cte.
k +1 = k
g( k )
g( k )
Distancia variable: mtodo heurstico

Incrementar si n iteraciones seguidas reducen J()
Disminuir si aparecen oscilaciones en la la secuencia de J()
Minimizar en la lnea del gradiente

dk y dk+1 ortogonales
24/44
12

Mtodos Basados en la mxima pendiente (steepest descent) G = I
constante: backpropagation
k +1 = k g ( k )
25/44

eta = 0.1
eta = 0.2
eta = 0.3
-1
-1
-1
-2
-3
-2
-1
-2
-3
-2
-1
-2
-3
-2
-1
eta = 0.7
eta = 0.5
eta = 0.6
-1
-1
-2
-2
-3
-2
-1
-2
-3
-4
-2
-1
3
-2
26/44
13

Mtodo gradiente en Sistema Fuzzy
1.4
2.5
1.2
2
Error
1
1.5
0.8
0.6
0.4
0.5
0.2
0
100
200
300
0.5
1.5
indice
27/44

Limitaciones del algoritmo BP
Puede converger a un mnimo local

Convergencia lenta
Sobreaprendizaje
Eleccin del nmero de parmetros
Topologa y estructura
de la red neuronal o del
sistema fuzzy
28/44
14

Alternativas
Distancia constante: gradiente normalizado
Acelera convergencia cuando el gradiente es pequeo
k +1 k = = cte.
k +1 = k
g( k )
g( k )
Distancia variable: mtodo heurstico

Acelera convergencia
Incrementar k si n iteraciones seguidas reducen J(q)
Disminuir k si aparecen oscilaciones en la la secuencia de J(qk)
Resilient B.P.
Minimizar en la lnea del gradiente
dk y dk+1 ortogonales
29/44

Gradiente normalizado
kappa = 0.25
kappa = 1
-1
-1
-2
-3
-2
-1
-2
-3
-2
-1
30/44
15

Aprendizaje con ganancia adaptativa y aprendizaje hbrido
Variacin de la funcin de coste
Variacin de la ganancia de aprendizaje
1.4
0.05
1.2
0.04
Ganancia
Error
1
0.8
0.6
0.03
0.02
0.4
0.01
0.2
0
100
200
Iteraciones
300
100
200
Iteraciones
300
31/44

Minimizacin en la direccin del gradiente
32/44
16

Problemas de los mtodos del gradiente:
Determinacin de la estructura
Redes radiales: Mnimos cuadrados ortogonales
Sistemas Fuzzy: Tcnicas de clustering
Mejora de la velocidad de aprendizaje
Mtodo de Newton
Ganancia de aprendizaje adaptativa
Mtodo de Levenberg-Marquardt
Gradiente conjugado
Mtodos Quasi-Newton
33/44

Mtodo de Newton
f(u,) debe ser dos veces derivable con respecto a
Aproximacin mediante una funcin cuadrtica (vlido si k est cerca del
mnimo)
1
T
J ( ) J ( k ) + g J T ( k ) + ( k ) H J ( k )
2
2 f
x 2
21
f
H f = x x
2M 1
2
f
xn x1
2 f
x1x 2
2 f
x22
M
2 f
x n x 2
k +1 = k H J 1 g J ;
2 f
x1x n
2 f
L
x 2 x n
O
M
2 f
L
2
xn
L
= 1, G = H -1
Inconvenientes:
Obtencin de la inversa de H
Convergencia para valores alejados del mnimo
34/44
17

10
9
8
7
6
5
4
3
2
1
1
10
35/44
S t e e p e s t D e s c e n t (R e d ) a n d N e w t o n (b lu e ) D ire c t io n s
3
-1
-2
-3
-3
-2
-1
0
1
2
3
L M D ire c t io n s : L a m b d a = 1 (b la c k ) a n d L a m b d a = 1 0 (C y a n )
36/44
18

Longitud del paso adaptativa
k +1 = k k H J 1gJ
Seleccionar que minimice J

1
Mtodo heurstico: step-halving k +1 = k
2
Modificacin de Levenberg-Marquardt
Modifica la direccin: combinacin gradiente y Newton
1
k +1 = k ( H J + I ) g J ; > 0
til cuando H no es definida positiva
Estimacin de H o H-1: aproximacin iterativa
Hk +1 1 M k +1 = Mk + h( M k , k +1 k , gk +1 gk )
37/44

Mtodo del gradiente conjugado
No necesitan el clculo de la segunda derivada
Basado en la iteracin sobre de n direcciones de bsqueda conjugadas
(independientes) con respecto a H
Generacin iterativa de las direcciones
g T (g g )
dk = gk + k dk 1 ; k = k kT k 1
gk 1 gk 1
Backpropagation con momento
k +1 = k gk + ( k k 1 ) = k + gk + ( k k 1 ) = k + dk
d k = g k + d k 1
38/44
19

Mtodos secantes (Quasi-Newton)
Estimacin de H o H-1: aproximacin iterativa
Hk
g k +1 g k
k +1 k
H k +1 M k +1 = M k + h(M k , k +1 k , g k +1 g k )
1
Mtodo BFGS
g T
M k +1 = I kT k
k g k

g T
M k I kT k
k g k

qk kT
+
T
k g k
39/44
Tcnicas de identificacin: mtodos que no requieren la derivada

Ventajas: minimizacin funciones no derivables
Inconveniente: lentitud en convergencia
Tcnicas:
Bsqueda aleatoria
Algoritmos genticos
Tcnicas de aleacin simulada (simulated annealing)
Simplex
Programacin dinmica
Normalmente no adecuadas para tcnicas adaptativas
40/44
20
Tcnicas de identificacin: Algoritmos Genticos

Motivacin
La evolucin nos ha llevado a
Vista
Odo
Olfato
Gusto
Tacto
Aprendizaje y razonamiento
Se puede imitar esa evolucin con la rapidez de los ordenadores actuales?
41/44

Terminologa:
Fitness function: funcin objetivo

Population: poblacin
Encoding schemes: esquema de codificacin
Selection: seleccin
Crossover: cruce
Mutation: mutacin
Elitism: elitismo
42/44
21

Codificacin binaria
Chromosome
(11, 6, 9)
1011 0110 1001

Gene
Crossover
10011110
10110010
10010010
10111110
Crossover point
Mutation
10011110
10011010
Mutation bit
43/44

Diagrama de flujo
10010110
01100010
10100100
10011001
01111101
...
...
...
...
Current
generation
Elitism
Selection
Crossover
Mutation
10010110
01100010
10100100
10011101
01111001
...
...
...
...
Next
generation
44/44
22

Ejemplo: encontrar el mximo de la funcin peaks
z = f(x, y) =
= 3*(1-x)^2*exp(-(x^2) - (y+1)^2) - 10*(x/5 - x^3 - y^5)*exp(-x^2-y^2) -1/3*exp(-(x+1)^2 - y^2)
45/44

Derivadas de la funcin peaks
dz/dx = -6*(1-x)*exp(-x^2-(y+1)^2) - 6*(1-x)^2*x*exp(-x^2-(y+1)^2) - 10*(1/5-3*x^2)*exp(-x^2-y^2) +
20*(1/5*x-x^3-y^5)*x*exp(-x^2-y^2) - 1/3*(-2*x-2)*exp(-(x+1)^2-y^2)
dz/dy = 3*(1-x)^2*(-2*y-2)*exp(-x^2-(y+1)^2) + 50*y^4*exp(-x^2-y^2) + 20*(1/5*x-x^3-y^5)*y*exp(x^2-y^2) + 2/3*y*exp(-(x+1)^2-y^2)
d(dz/dx)/dx = 36*x*exp(-x^2-(y+1)^2) - 18*x^2*exp(-x^2-(y+1)^2) - 24*x^3*exp(-x^2-(y+1)^2) +
12*x^4*exp(-x^2-(y+1)^2) + 72*x*exp(-x^2-y^2) - 148*x^3*exp(-x^2-y^2) - 20*y^5*exp(-x^2-y^2) +
40*x^5*exp(-x^2-y^2) + 40*x^2*exp(-x^2-y^2)*y^5 -2/3*exp(-(x+1)^2-y^2) - 4/3*exp(-(x+1)^2y^2)*x^2 -8/3*exp(-(x+1)^2-y^2)*x
d(dz/dy)/dy = -6*(1-x)^2*exp(-x^2-(y+1)^2) + 3*(1-x)^2*(-2*y-2)^2*exp(-x^2-(y+1)^2) + 200*y^3*exp(x^2-y^2)-200*y^5*exp(-x^2-y^2) + 20*(1/5*x-x^3-y^5)*exp(-x^2-y^2) - 40*(1/5*x-x^3-y^5)*y^2*exp(x^2-y^2) + 2/3*exp(-(x+1)^2-y^2)-4/3*y^2*exp(-(x+1)^2-y^2)
46/44
23

Proceso de los GA
Poblacin inicial
5 generacin
10 generacin
47/44

Perfil de funcionamiento
48/44
24
Conclusiones: control inteligente

Control Inteligente
Utilizacin de tecnologas inteligentes como controlador no lineal:
Redes neuronales
Sistemas Fuzzy
Aproximadores universales: capacidad de aproximarse a una funcin con cualquier

grado de precisin
g ( x ) funcion continua en U (conjunto compacto de R n )
f i ( x) sistema borroso o RNA
> 0, f i ( x )
sup xU f i ( x ) g ( x ) <
Planteamiento general:
Cualquier sistema fuzzy o RNA lo representaremos mediante una funcin f(x) equivalente
(desarrollo formal anlogo)
Se asumen topologas y estructuras estticas.
49/44

Problema de adaptacin
Si dinmica no variable
Autoajuste regulador (self-tuning)
Dinmica variable
Modificacin de los parmetros del regulador para adecuarse a los cambios del
sistema: adaptacin.
Aprendizaje
Correlacin de los cambios producidos en el sistema con otras variables: aprendizaje
recordar parmetros y asociarlos a condiciones de funcionamiento
Evaluacin del comportamiento

Necesidad de medir las prestaciones del sistema controlado
Definicin
de
un
ndice
de
comportamiento
funcin de coste = h(diferencia de la respuesta real con la deseada)
Autoajuste/Adaptacin/Aprendizaje = Buscar los parmetros del regulador que

minimicen la funcin de coste
50/44
25

Adaptacin/Aprendizaje
y
A
x
51/44
Control/adaptacin
Minimizacin
Control
r
Controlador
f(e,)
Sistema
Modelo referencia
yr
52/44
26

Controlador indirecto
Identificacin
Diseo
ref
Control
Sistema
x
Control con modelo de referencia
Referencia
ym
Adaptacin
ref
Control
Sistema
yp
x
53/44

Leyes de adaptacin con modelo de referencia
Basadas en una funcin de coste J ( t + T ) = 1 t + T y y 2 d = 1 t + T e 2 d

p
m
2 t
2 t
( t + T ) = ( t )
Cuando T0: ley de adaptacin
y p
d
= e(t )
dt
t +T
y p
J
d
= ( t ) e( )
t
Basadas en el mtodo de Lyapunov

Definir la funcin de la seal de error
Elegir una funcin de Lyapunov
V = e T Pe + T 1;
= vector de error en parametros

Obtener la ley de adaptacin exigiendo V& < 0
Basadas en la hiperestabilidad
Definir la funcin de la seal de error
54/44
27

Identificacion de Modelos Borrosos y Neuronales

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Identificacion de Modelos Borrosos y Neuronales

Cargado por

Copyright:

Formatos disponibles

IDENTIFICACIN DE MODELOS BORROSOS Y NEURONALES

Tcnicas que no utilizan la derivada

Equivalencia de modelos borrosos y neuronales

Funcin de pertenencia gausiana (continuamente derivable)

Utilizacin de la funcin producto como operador AND y funcin de implicacin

Desborrosificador: media ponderada de los centros

Equivalencia de modelos borrosos y neuronales

Equivalencia de modelos borrosos y neuronales

Si al modelo borroso anterior

se le aade el requisito de normalidad en las funciones de las variables de

Sistemas neuroborrosos: ANFIS

Sistemas neuroborrosos: ANFIS

ANFIS (Adaptive Neuro-Fuzzy Inference System)

Sistemas neuroborrosos: ANFIS de 4 reglas

Particin espacio entradas

ANFIS (Adaptive Neuro-Fuzzy Inference System)

Sistemas neuroborrosos: identificacin ANFIS

Tcnicas de identificacin: funciones de coste ms utilizadas

Tcnicas de identificacin: funciones de coste ms utilizadas

Error cuadrtico medio con regularizacin

Error cuadrtico (SSE)

w ij Coeficientes de ponderacin de cada dato

Tcnicas de identificacin: ejemplo con SSE

J ( ) = e T We = ( yi f (ui , ))wij ( yi f (ui , ))

f (u, ) funcion parametrica

Tcnicas de identificacin: ejemplo con SSE

k +1 = k + Pk +1ak +1 (yk +1 akT+1 k )

Tcnicas de identificacin: ejemplo LMS

vector de parmetros w = [ w1 , ...,

Una opcin es calcular el error cuadrtico medio (MSE):

Tcnicas de identificacin: ejemplo LMS

( ecuacin Wiener Hopf ) w o = R x R xy

Tcnicas de identificacin: ejemplo LMS

donde la iteracin k es la k-1 ms una correccin en la direccin del gradiente y es el

Tcnicas de identificacin: ejemplo LMS

J k ( w ) = k r er2 ( w ) = ek2 ( w ) + ek2 1 ( w ) 2 ek2 2 ( w ) + ...

donde es el llamado factor de olvido 0< <1

De forma muy general, la mayora de algoritmos adaptativos tienen la forma:

Tcnicas de identificacin: ejemplo LMS

Para estimar w se hace uso del algoritmo del gradiente:

en cada iteracin se necesita xk, wk-1 y ek. Inicialmente se toma wo=0.

Tcnicas de identificacin: mtodos iterativos

Mtodos iterativos descendentes

Tcnicas de identificacin: mtodos iterativos

f(u,) debe ser derivable con respecto a

Tcnicas de identificacin: mtodos iterativos

Distancia constante: gradiente normalizado

Distancia variable: mtodo heurstico

Minimizar en la lnea del gradiente

Tcnicas de identificacin: mtodos iterativos

Tcnicas de identificacin: mtodos iterativos

Tcnicas de identificacin: mtodos iterativos

Tcnicas de identificacin: mtodos iterativos

Puede converger a un mnimo local

Tcnicas de identificacin: mtodos iterativos

Distancia variable: mtodo heurstico

Tcnicas de identificacin: mtodos iterativos

Tcnicas de identificacin: mtodos iterativos

Variacin de la ganancia de aprendizaje

Tcnicas de identificacin: mtodos iterativos

Tcnicas de identificacin: mtodos iterativos

Mejora de la velocidad de aprendizaje

Tcnicas de identificacin: mtodos iterativos

Tcnicas de identificacin: mtodos iterativos