REPRESENTACION DE UN SISTEMA NO LINEAL USANDO IDENTIFICACION DE SISTEMAS Y REDES NEURONALES.

Javier Sedano Franco Area de Tecnologa Electrnica de la Universidad de Burgos, jsedano@ubu.es Jos R. Villar Flecha Dpto. Informtica, Universidad de Oviedo, villarjose@uniovi.es ngel Alonso lvarez Dpto. Ingeniera Elctrica y Electrnica, Universidad de Len, dieaaa@unileon.es

Resumen
Se va a discutir la representacin de sistemas no lineales en tiempo discreto y el procedimiento de identificacin de stos a partir de estructuras NARMAX (Nonlinear Autoregresive Moving Average with eXogenous inputs).Tambin se va a construir un modelo a partir de un sistema no lineal, representado a partir de ecuaciones de diferencias de segundo orden, que representa el comportamiento de una columna de destilacin de metanol. Para la identificacin del sistema se usar un mtodo no paramtrico, a partir de redes neuronales artificiales ANN entrenadas con el mtodo de Levemverg-Marquardt y optimizadas de acuerdo con la estrategia de reduccin por neurociruga OBS. Palabras Clave: Identificacin NARMAX, ANN, OBS. de sistemas,

un instante de tiempo y(t), obtenida a partir de una excitacin en el mismo tiempo u(t).

Figura 1: Proceso de identificacin sobre un sistema para la obtencin de un modelo matemtico, mediante la realizacin de mediciones y captura de datos en el sistema. Por consiguiente, el grupo de observacin estar formado por una coleccin finita de muestras:

Z N = {u (0), y (0), u (1), y (1), u (2), y (2),....

1
1.1

INTRODUCCIN
QU ES LA IDENTIFICACIN?

...., u ( N ), y ( N )} = {[u (t ), y (t )] | t = 1,...., N }

(1)

Se puede definir la identificacin de sistemas, como los estudios de tcnicas que persiguen la obtencin de modelos matemticos de sistemas dinmicos a partir de mediciones realizadas en el proceso: Entradas o variables de control, salidas o variables controladas y perturbaciones. En la figura 1 se muestra un croquis con estas ideas de forma grfica. El enfoque de la identificacin se puede realizar en funcin de la estructura del modelo y de si tienen o no interpretacin fsica sus parmetros. Podemos distinguir las siguientes estructuras: White-box, Gray-box y Black-box. 1.2 ESTRUCTURA

Los mtodos de identificacin [1], tienen como fin, encontrar un modelo matemtico que nos relacione las colecciones de muestras de salidas con las de entrada. Podemos definir el grupo de entrenamiento de forma ms general.

Z N = {[ y (t ), (t )] | t = 1,...., N }

(2)

Se deber de estimar y(t + 1) a partir de (t + 1) , donde (t ) es el vector de datos o vector de regresin. Por consiguiente, a partir de aqu lo que buscamos es una funcin de estimacin g N (t , (t )) , que nos permita determinar la salida estimada y (t ) , predictor, tal que:

Para realizar la modelizacin, es necesario partir de una observacin de datos, compuesta de una salida en

y (t ) = g N (t , (t ))

(3)

Donde g ser parametrizable, con nmero finito de parmetros; el vector de parmetros se llamar y la familia de funciones que describen el modelo es la denominada estructura del modelo g N (t , , (t )) . Entonces la funcin ptima consistir en la obtencin de un vector de parmetros adecuado, que se realizar en funcin de los (parmetros
N

estimados).

casos especiales del modelo; a saber, el modelo bilineal, el modelo de salida afn y modelo racional. De forma general, la funcin causal continua se puede aproximar bien por sistemas bilineales dentro de cualquier intervalo limitado de tiempo [7]. Algunos ejemplos pueden ser las columnas de destilacin[5] y los procesos de control termal o nuclear [17]. El modelo general bilineal viene definido por la ecuacin (7).

y (t ) = g N (t , (t )) = g (t , N , (t ))

(4)

y (k ) = a0 + ai y (k i) + biu (k i )
i =1 i =1

ny

nu

SISTEMAS NO LINEALES

+ cij y (k i)u (k j )
i =1 j =1

n y nu

(7)

El modelo no lineal de ecuaciones diferenciales conocido como modelo NARMAX [13], es una representacin natural del muestreo de sistemas no lineales continuos; proporciona una representacin vlida para una amplia clase de sistemas lineales y tiene ventajas sobre las series de funciones, tales como las series de Volterra [2]. Desde un punto de vista prctico, existe la necesidad de aproximar el comportamiento de las entradas y salidas a modelos simples y de acuerdo con el teorema de Stone-Weirerstars, los modelos de salida afn y polinmicos son adecuados. Estos modelos son los siguientes: Modelo general no lineal: Las representaciones de las entradas y salidas que expanden la salida presente en funcin de sus trminos pasados, proporcionan modelos que satisfacen una gran clase de sistemas no lineales. El modelo general es el mostrado en la ecuacin (5), donde F () es una funcin no lineal. Al modelo anterior se le conoce como ARMAX [1], por su semejanza con el modelo lineal representado en la ecuacin (6).
y (k ) = F y (k 1), K , y (k n y ), u (k 1), K , u (k nu ) )

Los modelos de salida afn y racional surgen a la hora de cumplir las condiciones de la funcin de respuesta del sistema en lo relativo a la funcin polinmica y a su lmite, ver [20]. As se tendr que las ecuaciones generales para estos modelos son, bien la ecuacin de diferencias racional (8), donde r es el orden del sistema y a() y b() son los polinomios de grado finito, bien la ecuacin de diferencias afn (9), donde los ai () , con i = 0,1, K , r + 1 son polinomios de grado finito.

y(k ) =

b( y (k 1), K , y (k r ), u (k 1), K , u (k r )) a ( y (k 1), K , y (k r ), u (k 1), K , u (k r ))

(8 )

y (k ) = a0 + ai y (k i ) + bi u (k i )
i =1 i =1

ny

nu

+ cij y (k i )u (k j )
i =1 j =1

n y nu

(9)

(5)

y ( k ) = a 0 + a i y ( k i ) + bi u ( k i )
i =1 i =1

ny

nu

IDENTIFICACIN NO LINEAL A PARTIR DE REDES NEURONALES

PROCESOS DE

(6)
3.1 ANN, EN LOS IDENTIFICACIN

Un sistema invariante en el tiempo y discreto no lineal, se puede representar por el modelo (5) en una regin prxima al punto de equilibrio, conforme a dos condiciones suficientes [13]: Que la funcin de respuesta del sistema es finitamente realizable y que un modelo linealizado existe, si el sistema trabaja cerca del punto de equilibrio elegido. Varios modelos no lineales conocidos se pueden identificar con el modelo NARMAX, considerndose

Tres preguntas importantes, relativas a las caractersticas de la arquitectura ms apropiada, surgen cuando se usan ANN en procesos de identificacin; las cuales son: Nmero de capas, nmero de neuronas por capa y funciones de activacin. Muchos autores han investigado al respecto, Kolmogorov, Hecht-Nielsen, Kurkova, Hornik, Ito,

Cyb, Hor, concluyendo que las ANN de dos capas, con funciones de tipo tangente hiperblica o sigmoidal en la capa oculta, van a ser predictores universales [12] [3]. La red de Perceptrn Multicapa (MLP) tiene la capacidad de modelar las relaciones funcionales simples, tambin como las complejas. Ha sido probada, a lo largo de un gran nmero de aplicaciones prcticas por Demuth & Beale [20]. Est formada por dos capas, una oculta y otra de salida, con funciones de activacin, lineales o tangentes hiperblicas (f,F). Los factores ( vector o de forma alternativa matrices w y W) son los parmetros ajustables de la red y estn escogidos de un grupo de entrenamiento, que es el grupo de entradas y de salidas u(t) e y(t) a identificar; figura 2.
u3 w 23 w13 w 22 u2 w 12 w21 u1 w 20 w11 W21 f1( ) W20 w 10 1 W10 f 2( )

retropropagacin [11] y la versin recursiva de retropropagacin [11].

3.2 PROCESO DE IDENTIFICACIN

Si se parte de una observacin (1), el objetivo del proceso de identificacin consistir en determinar los factores de peso a ajustar (especificados por w, W ), partiendo de la observacin ZN. Entonces el aprendizaje supervisado deber encontrar el vector de parmetros , mediante la aproximacin al error de prediccin; basndose en la medida de la proximidad, en trminos del criterio de error de media de cuadrados, ecuacin (11), donde el vector de pesos ser minimizado V N ( , Z N ) , ecuacin (12). El esquema de minimizacin iterativa se define en la ecuacin (13), donde f(t) es la direccin de bsqueda y (t ) es el tamao del paso.
V N ( , Z
N

W22 W12 F2( )

^ y2

)=

1 2N

[ y (t ) y (t | ) ]T
t =1

(11)

[y (t ) y (t | ]
F1( )

W11

^ y1

= arg min V N ( , Z N )

(12)

(t + 1) = (t ) + (t ) f (t )

(13)

Figura 2: Red MLP, conectada de dos capas (una oculta y una de salida), con tres entradas y dos unidades de salida.
q y i ( w, W ) = Fi Wij y j ( w) + Wi 0 = j =1

(10)

Fi Wij f j w jl u l + w j 0 + Wi 0 l =1 j =1
q m

En cambio, no hay trabajos tan concluyentes en lo relativo al nmero de neuronas por capa, teniendo en cuenta, que este nmero es adecuado para evitar sobre ajustes en los datos y evitar que la estructura del modelo elegida, contenga demasiados factores de peso. Por consiguiente, se debern de tratar estos posibles excesos a travs de una estrategia de reduccin OBS (Neurocirujano ptimo)[9], [10]. Otro aspecto importante, ser conocer cual de los algoritmos permite un aprendizaje ms rpido, para determinar el conjunto ptimo de factores de peso en la ANN. Cada algoritmo se caracteriza por cmo se busca y se selecciona la direccin y el paso; algunos de los algoritmos ms usados en la identificacin son: Mtodo de Lenvenberg-Marquardt[13], mtodo recursivo de prediccin de error de GaussNewton[15], versin por tandas del algoritmo de

3.3 SELECCIN Y ESTRUCTURAS DEL MODELO Despus de realizar la observacin ZN, debe de elegirse el grupo de regresores y la estructura de red; para la seleccin de los regresores, como natural extensin de la identificacin lineal, nos apoyamos en los modelos lineales [18]. Las estructuras de los modelos se definirn por tres parmetros: (t ) vector de regresin, vector de parmetros o pesos y g() funcin de la neurona.

NNARX: Vector de regresin:

(t ) = [ y (t 1) K y (t n a )u (t n k ) K
u (t nb n k + 1)]T
Predictor:

y (t | ) = y (t | t 1, ) = g ( (t ), )
NNOE: Vector de regresin:

(14)

 (t ) = [ y (t 1 | ) K y (t n a | )u (t n k ) K u (t n b n k + 1)]T
Predictor:

tomada como si fuera de caja negra y a partir de aqu, excitada con una seal distribuida de forma uniforme con cinco muestras constantes.

y(t ) = 2 + 0.353 y (t 1) + 0.54u (t 1)

y (t | ) = g ( (t ), )
NNARMAX (variante 1): Vector de regresin:

(15)

1.65u (t 2) 1.68u 2 (t 1) + 1.8u 2 (t 2) (19) + 0.71y (t 1)u (t 1) 0.3 y(t 2)u (t 2) + (t )

Al sistema se le somete a diferentes tipos de ruidos, con el objeto de ver como el entrenamiento de la ANN y el posterior reentrenamiento, una vez que se ha obtenido la estructura optima de red (OBS), va a ser capaz de predecir la salida. La estructura de la red vendr definida: Por el nmero de neuronas en la capa oculta, se han utilizado de 10 a 12 neuronas; por el nmero de parmetros (factores de peso), se han utilizado parmetros arbitrarios de inicio y rearrancado varias veces con el fin de evitar mnimos locales; por la funcin que debe de desarrollar la neurona, tangente hiperblica en la capa oculta y lineal en la capa de salida; por el orden del modelo (na, nb, nc) y por los algoritmos de bsqueda y direccin, en este caso se ha utilizado el mtodo de Lenverberg-Marquardt, estndar de minimizacin que utiliza el criterio de error de media cuadrada; en el primer entrenamiento se aade un trmino de regularizacin [14]. La arquitectura ptima se obtiene en base a la regularizacin, ya que el entrenamiento obedece a criterios que toman mnimos locales y es comn que se pueda acabar en un mnimo local no vlido. Por consiguiente, la regularizacin suaviza los criterios y elimina, en gran medida, los mnimos locales; i.e., se deben de eliminar los pesos superfluos y buscar el mnimo error sobre los datos de validacin (para la validacin de la red). La estrategia que se ha utilizado despus de observar que la validacin cruzada sobre los datos de validacin no es satisfactoria, ha sido utilizar la estrategia OBS, que consiste en encontrar los errores de prueba, estimacin ms fiable de la generalizacin del error y seleccionar la ANN con error, sobre la coleccin de validacin, ms pequeo. Por ltimo, una vez que la ANN cuenta con la arquitectura ptima, se ha vuelto a realizar un nuevo ejercicio de entrenamiento, pero sin regularizacin, recalibrando los parmetros o pesos que definen la ANN. El ensayo se ha realizado usando Matlab con System Identification Toolbox [16] y Neural Network based System Identification Toolbox [19]. Los resultados grficos de estos ensayos se muestran en las figuras 3, 4, 5, 6, 7, 8, y algunos datos significativos se reflejan en la tabla 1.

(t ) = [ y (t 1) K y (t n a )u (t n k ) K
u (t n b n k + 1) (t 1) K (t n c )]T =

T 1 (t

1) K (t n c )

Predictor:

y (t | ) = g ( 1 (t ), ) + (C ( q 1 ) 1) (t ) (16)
NNARMAX (variante 2): Vector de regresin:

(t ) = [ y (t 1) K y (t n a )u (t n k ) K
u (t nb n k + 1) (t 1) K (t n c )]T
Predictor:

y (t | ) = g ( (t ), )
NNFIR: Vector de regresin:

(17)

(t ) = [u (t n k ) K u (t n b n k + 1)]T
Predictor:

y (t | ) = y (t | t 1, ) = g ( (t ), )

(18)

ENSAYO. COLUMNA DE DESTILACIN PARA LA SEPARACIN DE LA MEZCLA DE METANOL Y AGUA

El proceso de destilacin presenta un comportamiento no lineal entre la concentracin y el flujo de vuelta, que se produce en la parte superior de la columna; para ms detalles ver [8]. Por consiguiente, la ecuacin de diferencias de segundo orden, que representa la estructura del modelo, ser

a) Datos de entrada

b) Ruido del sistema

Figura 3: a) Datos de entrada generados con distribucin uniforme escalados entre 1.5 y 1.5, de 5 muestras constantes con media cero y varianza 0.708 . b) Ruido del sistema (t) = (0.5/11.2z1 +0.7z2)e(t) e intervalo de muestreo 0.1 sg. e(t) es ruido blanco gaussiano.

a) Detalle de las 100 primeras muestras

b) Datos para la identificacin

Figura 4: a) Detalle de las 100 primeras muestras de datos de salida con y sin ruido. b) Datos para la identificacin , se generan dos colecciones los primeros 500 sern de estimacin y los 500 restantes sern de validacin; ambos se debern de escalar antes del entrenamiento a un valor con media cero y varianza 1 Estimacin lineal usando un modelo a partir de los datos de estimacin OE: y(t) = [B(q)/F(q)]u(t) + e(t) B(q) = 1.606 q^-1 - 0.3089 q^-2 - 0.807 q^-3 F(q) = 1 + 0.8781 q^-1 - 0.4689 q^-2 - 0.3975 q^-3 + 0.05267 q^-4 A partir de los datos de estimacin

Figura 5:Representa la comparacin entre los datos de salida real con la estimada, utilizando un modelo OE con ordenes en el polinomio B=3 y F=4 ; a partir del retraso uno ( 3 4 1 ). Se observa que no es capaz de aproximarse en nada; lo que garantiza la fuerte no linealidad del sistema.

a) Comparacin con datos estimados

b) Comparacin con datos de validacin

Figura 6: a) Comparacin de datos de salida real con datos estimados a partir de la prediccin de un paso adelante, el porcentaje de la salida que se explica con el modelo (fe) es del 86,78 %. b) Comparacin de datos de salida real con datos de validacin estimados a partir de la prediccin de un paso adelante, fe del 76,14 %. La red ha sido entrenada usando el mtodo de Lenverberg-Marquardt usando un mximo de 400 iteraciones y regularizacin de 1e-3, con 10 neuronas en la capa oculta con funcin tangente hiperblica (th)y una capa de salida con funcin lineal (l), el orden del modelo es (2 4 2 1).

-0.0493 -0.0348 0.0358 0 -0.2087 -0.0302 -0.0091 0.0254 0.0059 0.0141 W

-0.0161 0 -0.0131 0 0.1216 0.0001 0.0148 -0.0073 -0.0309 0.0167

-0.0857 -0.1099 -0.7289 -0.5630 3.8699 0.0910 -0.3409 0.7337 -0.7278 0.4671

-0.0661 0.3817 -0.1753 0.4581 0.5754 0 -0.0503 0.0512 -0.3564 0.3653

-0.0334 -0.3807 -0.1034 -0.3671 1.4491 -0.6619 -0.2183 -0.2789 0.3277 -0.0103

0.0634 0 0.0674 0.0466 0.9132 0.1167 0.0061 0.0954 -0.1694 -0.1373

-0.0680 -0.0139 0 0.0181 0.0628 -0.0189 0.0327 -0.0306 -0.0110 -0.0475

-0.0233 0 -0.0868 0.0053 -0.0192 0.0054 -0.0297 0.0061 -0.0124 0.0105

.0301 0.9580 1.0512 -1.3972 3.7129 -1.0559 0.6006 1.1997 -15075 0.2397

-20.7520 28.5187 14.5817 -62.5913 -13.5872 -10.3278 -38.2199

0.3676 22.0802 -26.4246 -32.0136

a) Estructura ptima

b) Pesos de la red.

Figura 7: a) Estructura ptima despus de utilizar la estrategia del neurocirujano OBS y el reentrenamiento sin regularizacin. b) Pesos de la red.

a) Comparacin con datos de validacin

b) Detalle de la comparacin

Figura 8: a) Comparacin de datos de salida real (datos de validacin) con datos estimados a partir de la prediccin de un paso adelante, fe es del 79,81 %. b) Detalle de la comparacin de datos de salida real (datos de validacin) estimados a partir de la prediccin de un paso adelante y mediante simulacin .

Ruido

Sin ruido 0,6*e(t) 2* e(t) 2* e(t) (2/11.2z1 +0.7z2)e(t)

Ordenes del modelo Fe sobre datos na, nb, nc, nk y de estimacin estructura 99,63 2 4 2 1 / (10 th-1l) 85,97 2 4 2 1/ (10 th-1l) 69,78 2 4 2 1/ (10 th-1l) 68,32 3 4 0 1/ (12 th-1l) 67,34 3 4 0 1/ (12 th-1l)

Fe sobre datos Fe sobre datos de validacin de validacin finales

97,19 64,10 -28,74 33,12 36,89

97,19 78,62 47,61 67,95 52,13

85,93 -5,98 -12,76 (2/11.2z1 +0.7z2)e(t) 2 4 2 1 / (10 th-1l) Tabla 1: Otros ensayos con diferentes valores de ruido sobre el mismo sistema.

CONCLUSIONES Y TRABAJOS FUTUROS.

[4] H. Demuth & M. Beale Neural Network Toolbox: : For use with Matlab. The MathWorks Inc., Natick, MA, 2005. [5] M. Espaa y I.D. Landau, Automatica, Vol. 14, 345, 1978. [6] R. Fletcher Practical Methods of Optimization, Wiley, 1987. [7] M. Fliess, y D. Normand-Cyrot, On the approximation of nonlinear systems by some simple state-space models, Proc. 6th IFAC Symposium on Identification and System Parameter Estimation, Washintong, USA, 1982. pp. 511-514. [8] Rober Haber and Laszlo Keviczky. Nonlinear System Identification-Input-output Modelling Approach , Vol 2, Kluwer Academic Publishers 1999. [9] L.K. Hansen & M. W. Pedersen Controlled Growth of Cascade Correlation Nets, Proc. ICANN 94, Sorrento, Italia, Eds. M. Marinaro & P.G. Morasso, pp. 797-800, 1994. [10] B. Hassibi, D.G. Stork Second Order Derivatives for Network Pruning: Optimal Brain Surgeon, NIPS 5, Eds. S.J. Hanson et al., 164, San Mateo, Morgan Kaufmann, 1993. [11] J. Hertz, A. Krogh & R.G. Palmer Introduction to the Theory of Neural Computation, Addison-Wesley, 1991. [12] Hornik, K., Stinchcombe, M. and White H. Multilayer Feedforward Networks are Universal Aproximators, Neural Networks, vol. 2 n 5, 1989. [13] I.J. Leontaritis, y S.A. Billings, Int. J. Control, Vol. 41, 303, 1985.

Se ha mostrado cmo el modelo NARMAX es una representacin general de los sistemas finitos realizables, donde se incluyen, el sistema lineal, el bilineal, el de salida afn y el racional. Se ha ilustrado un modelo de la columna de destilacin del metanol, que se ha desarrollado usando tcnicas de identificacin neurolgica ptima. Red neurolgica que se ha entrenado y a la que se le ha aplicado OBS para predecir el comportamiento de la concentracin, en funcin del flujo de vuelta; de igual forma se ha observado la capacidad de prediccin del modelo, dependiendo del ruido existente en el sistema. Mi trabajo futuro se desarrollar en la bsqueda de una metodologa que conste de una serie de reglas, etapas, pautas y decisiones, capaces de hacer que el modelo final sea representativo del modelo identificado. Este procedimiento de identificacin, que ir desde el diseo del experimento, la adquisicin y tratamiento de los datos, la eleccin de la estructura del modelo y la seleccin de los parmetros, hasta la fase de validacin del modelo, deber de tener como aptitudes, la capacidad de poderse ejecutar de forma automtica.
Referencias

[1] S.A. Billings y I.J. Leontaritis, Parameter estimation techniques for nonlinear systems, Proc. 6th IFAC Symposium on Identification and System Parameter Estimation, Washintong, USA, 1982. pp. 505-510. [2] S. Chen y S.A. Billings, Representations of nonlinear systems: the NARMAX model,Taylor & Francis Ltd. Int. J. Control, Vol. 49, N 3, 1989. pp. 1013-1032. [3] G. Cybenko, Aproximation by superpositions of sigmoidal function, Math. Control, Sygnals and System, vol. 2, n 4, 1989

[14] J. Larsen & L.K. Hansen Generalization Performance of Regularized Neural Network Models", Proc. of the IEEE Workshop on Neural networks for Signal Proc. IV, Piscataway, New Jersey, pp.42-51, 1994. [15] L. Ljung. System Identification. Theory for the user. Prentice Hall. 1999. [16] L Ljung. System Identification Toolbox: For use with Matlab. The MathWorks 2005. [17] R.R. Mohler, Bilinear Control Processes, Academic Press, 1973. [18] M. Nrgaard, O. Ravn, N. K. Poulsen, L. K. Hansen Neural networks for Modelling and Control of Dynamic Systems, Springer-Verlag, Londres, UK, 2000. [19] M. Nrgaard. Neural network Based System Identification Toolbox Report Technical Tecnico 00-E-891, Department de Automation Technical University de Dinamarca, 2000. [20] E.D. Sontag, Polynomial response maps, Lecture Notes in Control and Information Sciences 13, Springer-Verlag, 1979.