Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Anibal Bregn, Arancha Simn, Carlos Alonso, Belarmino Pulido, Isaac Moro
Dept. de Informtica ETS Ingeniera Informtica Univ. de Valladolid 47011 Valladolid anibbre@lab..uva.es, (arancha,calonso,belar,isaac)@infor.uva.es
Resumen
El diagnstico mediante la clasicacin de fallos en plantas industriales es un cuerpo de investigacin que recibe continuamente atencin. En algunos dominios estos fallos vienen descritos por series temporales. En este artculo vamos a introducir algunas tcnicas para la clasicacin de distintos modelos de fallo obtenidos por medio de una planta de laboratorio. Presentamos un marco computacional para resolver problemas de clasicacin de fallos usando Razonamiento Basado en Casos. Este artculo ilustra diferentes tcnicas para la reutilizacin y recuperacin de casos (como por ejemplo Alineamiento Dinmico Temporal o distancia Eucldea), evaluando y comparando los resultados.
1. Introduccin
El Razonamiento Basado en Casos (CBR) es una metodologa de Inteligencia Articial para realizar aprendizaje que ha logrado buenos resultados en muchos campos de aplicacin. Se han desarrollado varios trabajos en los que se ha aplicado CBR para determinar el estado de operacin de una planta industrial [4, 6], y para llevar a cabo planicacin, diagnstico, mantenimiento y gestin de calidad en la industria [5]. En algunos de estos trabajos los
autores han manejado series temporales, y han diseado representaciones de casos para gestionarlas y lograr una mejor recuperacin del caso. En este artculo, aplicamos una metodologa CBR a un problema de clasicacin de fallos en una planta industrial. El sistema CBR trabaja en paralelo con un sistema de diagnstico basado en modelos que efecta deteccin y localizacin de fallos [12]. Una vez que un fallo es detectado, el sistema CBR proporcionar una pista sobre el fallo candidato ms probable. Nuestro conjunto de datos est compuesto por series temporales. Comparamos la precisin obtenida usando datos sin preprocesado como representacin del caso con la obtenida usando una seleccin de caractersticas. Esta ltima representacin fue diseada por algunos autores de este artculo en otros trabajos [14] y la hemos aplicado ahora a CBR. El artculo est organizado de la siguiente manera: la Seccin 2 describe la metodologa CBR, el algoritmo de recuperacin y las medidas de similitud que hemos usado; la Seccin 3 introduce brevemente la planta industrial con sus clases de fallos. En la Seccin 4 presentamos el estudio experimental: la descripcin del conjunto de datos y el mtodo de evaluacin. La seccin 5 muestra los resultados y la discusin, y nalmente, la seccin 6 se dedica a las conclusiones y trabajo futuro.
Actas del III Taller Nacional de Minera de Datos y Aprendizaje, TAMIDA2005, pp.203-211 ISBN: 84-9732-449-8 2005 Los autores, Thomson
204
205
hiptesis: xS Cq , q = 1, . . . , M . Sea S el conjunto de los K -vecinos ms prximos de xS en X . Para cualquier xi S , el conocimiento de Li = q puede considerarse como una evidencia que aumenta nuestra conanza de que xS tambin pertenece a Cq . No obstante, esta evidencia no proporciona por s misma 100 % de certeza. El clasicador de los K vecinos ms prximos (KNN), como sugurieron Duda y Hart [7], almacena los datos de entrenamiento, el par (X, L). Los ejemplos son clasicados eligiendo la clase mayoritaria entre los K ejemplos ms cercanos del conjunto de entrenamiento, de acuerdo a una medida de distancia [3]. En nuestros experimentos fueron probados varios valores de K (nmero de vecinos) K = 1, 3, 5, y se ha encontrado empricamente que K = 1 ha proporcionado los mejores resultados para nuestro conjunto de datos.
te ms robusta que las medidas anteriores. A continuacin, se introduce brevemente DTW: Sean dos series temporales, Q y C , de longitudes n y m:
Q = q1 , q2 , ..., qi , ..., qn ; C = c1 , c2 , ..., cj , ..., cm .
(1) (2)
Para alinear las dos secuencias usando DTW, se construye una matriz n m. Cada elemento (i, j ) se corresponde con el alineamiento entre los puntos qi y cj . Un camino de alineamiento W es un conjunto de elementos de la matriz contiguos que dene una correspondencia entre Q y C . El elemento k-simo de W se dene como wk = (i, j )k . Por tanto:
W = w1 , w 2 , . . . , w k , . . . , w K m ax(m, n) = K m + n 1.
(3) (4)
2.2.2. Medidas de similitud Distancia Eucldea. Es la distancia ms comn y la ms usada en la mayora de los sistemas CBR. Denimos la distancia Eucldea entre dos puntos x e y como:
(xi yi )2 , donde xi es la coordenada de x en la dimensin i y yi es la coordenada de y en la dimensin i.
n i=1
La distancia Euclidea puede considerarse como un caso especial de DTW en el que el elemento k-simo de W se restringe a wk = (i, j )k , i = j = k. En la aplicacin considerada, las series son multivariable. Es decir, las series son multidimensionales. Para utilizar DTW con este tipo de datos consideramos las siguientes aproximaciones:
Aplicar DTW para cada variable. La semejanza entre 2 series multivariable ser la media de las semejanzas para cada variable.
Manhattan entre dos puntos es la suma de los valores absolutos de las diferencias de sus componentes. Denimos la distancia de Manhattan entre un punto x y otro punto y como: n i=1 |xi yi |, donde xi es la coordenada de x en la dimensin i e yi es la coordenada de y en la dimensin i.
Para calcular la distancia d(qi , cj ) entre los puntos qi y cj usamos tres mtricas:
Lineal: |qi cj | Cuadrtica: (qi cj )2
Valle: 10 (1 exp(
(qi cj )2 )) 6
Aplicar DTW slo una vez, considerando que los puntos de las series son multidimensionales, con tantas dimensiones como variables. La nica distancia d(qi , cj ) considerada es la Euclidea.
206
que almacenar esta informacin y cmo indexar el caso en la estructura de memoria para una posterior recuperacin.
El mtodo de reutilizacin usado en este trabajo est basado en el algoritmo de los K vecinos ms prximos. En nuestro trabajo podemos elegir el nmero de vecinos a usar y adaptar la solucin del nuevo caso mediante votacin de la solucin de todos los casos recuperados.
4. Estudio experimental
El estudio experimental ha sido realizado con un conjunto de datos procedentes de la simulacin de una planta de laboratorio. Este conjunto de datos est formado por varios ejemplos obtenidos de simulaciones de diferentes tipos de fallos que pueden aparecer en la planta industrial previamente descrita. En este apartado vamos a describir estos conjuntos de datos, las tareas de preprocesado aplicadas y los mtodos de evaluacin empleados.
207
T1
P2
ON/OFF FT 07
LT 01
LC 01
P1
FT 08
T2
TT 02 TT 03
T3
P4
P3
v
ON/OFF
ON/OFF
v
ON/OFF FT 05
ON/OFF
T4
LT 04 TT 04
LC 04
P5
te conjunto de datos est formado por series temporales de datos que describen un fallo de la planta industrial. Hay catorce tipos de fallo diferentes y cada uno de ellos viene descrito por once series de trescientos elementos numricos asociados a las once medidas de sensores disponibles. Nosotros hemos utilizado veinte ejemplos de cada modelo de fallo. En nuestro sistema CBR, un caso va a estar compuesto por once series (las cuales van a describir un fallo) y el tipo de fallo, que ser la solucin que nuestro sistema trata de adaptar. Puesto que la longitud de cada serie es 300, la descripcin de cada caso consiste en 11 300 valores reales. La Figura 3 muestra un caso de cada modo de fallo. Con la intencin de hacer una mejor clasicacin de fallos, vamos a aplicar algoritmos de ltrado y normalizacin sobre los datos originales.
ujo: desde 0 l/min hasta 5 l/min. nivel: desde 0 % hasta 100 % del nivel de cada tanque. temperatura: desde 0o C hasta 40o C
Filtrado. Algunos valores de las series numricas pueden exceder los lmites permitidos de control, volumen, nivel o temperatura (bien por exceso o por defecto), sta es la razn por la que aplicamos un proceso de ltrado antes de introducir los datos en la base de casos. Los valores mximos y mnimos permitidos son los siguientes:
Estas caractersticas evalan una funcin (esto es, media o desviacin), para una Variable del Ejemplo, en el intervalo dado por Inicio y Fin. Si se consideran todos los posibles intervalos, el nmero de posibles caractersticas es excesivo. La seleccin de algunas de estas caractersticas se realiza utilizando el mtodo
208
FT1 FM01
FT2
FT3
FT4
LT1
LT4
TT2
TT3
TT4
FM14
Figura 3: Ejemplos de casos. Cada la muestra un caso de un modo de fallo. Cada columna muestra una de las variables
FM13
FM12
FM11
FM10
FM09
FM08
FM07
FM06
FM05
FM04
FM03
FM02
209
descrito en [14], que se apoya a su vez en el mtodo denominado boosting [15]. En esta aplicacin, el nmero de caractersticas seleccionadas es 100. Uno de los objetivos que se persigue al seleccionar caractersticas es la reduccin de la dimensionalidad. En los datos en crudo hay 11 series de 300 valores, mientras que los datos preprocesados slo tienen 100 atributos. En consecuencia, los casos almacenados son mucho ms compactos, lo que reduce considerablemente el tiempo necesario para encontrar los casos ms similares. Por otro lado, a la hora de clasicar un ejemplo es necesario obtener los valores de las caractersticas para ese ejemplo.
5. Resultados
Hemos realizado varios experimentos aplicando todas las tcnicas descritas de recuperacin y reutilizacin tanto con datos sin preprocesado como con seleccin de caractersticas.
210
Cuadro 1: Tasas de acierto obtenidas al utilizar DTW unidimensional, DTW multidimensional, distancia Eucldea y Manhattan sobre los datos en crudo. Nmero de 1-D DTW M-D Distancia Distancia vecinos Lineal Cuadrtica Valle DTW Eucldea Manhattan 1 89.2 % 91.4 % 91.4 % 90.4 % 89.3 % 88.2 % 86.4 % 88.6 % 88.6 % 87.1 % 86.4 % 85.4 % 3 5 85.4 % 85.0 % 85.0 % 85.4 % 85.7 % 84.6 % res usando las distintas mtricas con los datos sin preprocesado y usando seleccin de caractersticas. Al usar los datos sin preprocesado, considerando que son series temporales, DTW obtiene mejores resultados que las distancias que no son especcas para este tipo de datos. Los resultados experimentales demuestran la validez del mtodo de seleccin de caractersticas propuesto. La precisin ha sido incrementada desde 91.4 % hasta 96.1 %. Otro asunto es el tiempo de ejecucin. Primero, las caractersticas deben ser seleccionadas, aunque este proceso puede realizarse fuera de lnea. Para clasicar un nuevo caso, deben evaluarse las caractersticas. El tiempo de este proceso es lineal con el nmero de caractersticas (100 para el ejemplo actual) y la longitud de las series. Sin embargo, ahora cada caso es mucho ms compacto, as que el tiempo necesario para encontrar los vecinos ms prximos se ve signicativamente reducido. La validacin del mtodo de seleccin de caractersticas ha sido considerado desde un punto de vista de aprendizaje automtico: todos los datos de entrenamiento estn disponibles, as que las caractersticas son seleccionadas usando todos los datos de entrenamiento. Sin embargo, en un sistema CBR nuevos casos son incorporados al sistema en cualquier momento. Estos nuevos casos sern representados mediante un conjunto de caractersticas que han sido seleccionadas sin tenerles en cuenta. Esto podra causar una degradacin del rendimiento del sistema. Por lo tanto, pensamos que sera interesante probar el sistema bajo estas condiciones. Adems, nuestra intencin es proseguir con la validacin de esta aproximacin sobre un conjunto experimental mayor.
Cuadro 2: Tasas de acierto obtenidas al utilizar seleccin de caractersticas con las distancias Eucldea y Manhattan. Nmero de Distancia Distancia de vecinos Eucldea Manhattan 1 91.8 % 96.1 % 3 87.1 % 93.6 % 5 86.8 % 91.1 %
de acierto obtenida con los datos sin preprocesado es del 91.4 % mientras que la mejor usando seleccin de caractersticas es del 96.1 %. Por lo tanto, el error ha sido reducido a menos de la mitad. Al igual que ocurra al usar datos sin preprocesado, incrementar el nmero de vecinos decrementa el acierto.
211
Referencias
[1] A. Aamodt and E. Plaza. Case-Based Reasoning: Foundational Issues, Methodological Variations, and System Approaches. AI Communications. IOS Press, Vol. 7: 1,, pages 3959, 1994. [2] K. Altho and B. Bartsch-Sprl. Decision Support for Case-Based Applications. Special issue on case-based decision support., pages 614, 1996. [3] A. D. Anastasiadis, G. D. Magoulas, and X. Liu. Classication of Protein Localisation Patterns via Supervised Neural Network Learning. In Proceedings of the Fifth Symposium on Intelligent Data Analysis (IDA-03), Berlin, Germany, August 2003, pages 430439, 2003. [4] D. M. Brann, D. A. Thurman, and C. M. Mitchell. Case-Based Reasoning as a Methodology for Accumulating Human Expertise for Discrete System Control. In Proceedings of the IEEE Int. Conf. on SMC, Vancouver, B. C., Canada, pages 42194223, 1995. [5] J. Britanik and M. Marefat. Case-Based Manufacturing Process Planning with integrated support for knowledge sharing. In IEEE Int. Symp. on Assembly Task Planning, pages 107112, 1995. [6] J. Colomer, J. Melendez, and F. I. Gamero. Qualitative representation of process trends for situation assessment based on cases. In 15th Triennial World Congress of the International Federation of Automatic Control, Barcelona, Spain, 2002. [7] R.O. Duda and P.E. Hart. Pattern Classication and Scene Analysis. John Wiley and Sons, 1973. [8] E. Keogh and C. A. Ratanamahatana. Exact indexing of dynamic time warping. Knowledge and Information Systems, 7(3):358386, 2005.
[9] R. Kohavi. A study of cross-validation and bootstrap for accuracy estimation and model selection. International Joint Conference on Articial Intelligence, pages 223228, 1995. [10] J. Kolodner. Case-Based Reasoning. Morgan Kaufmann Publishers, 1993. [11] D. B. Leake. CBR in Context: The present and Future. Case-Based Reasoning: Experiences, Lessons, and Future Directions. Menlo Park: AAAI Press., 1996. [12] B. Pulido, C. Alonso, and F. Acebes. Lessons learned from diagnosing dynamic systems using possible conicts and quantitative models. In Engineering of Intelligent Systems. Fourteenth International Conference on Industrial and Engineering Applications of Articial Intelligence and Expert Systems (IEA/AIE-2001), volume 2070 of Lecture Notes in Articial Intelligence, pages 135144, Budapest, Hungary, 2001. [13] C. K. Riesbeck and R. C. Shank. Inside Case Based Reasoning. Lawrence Erlbaum Associates, Hillsdale, NJ, US,, 1989. [14] Juan J. Rodrguez and Carlos J. Alonso. Support vector machines of interval-based features for time series classication. In Research and Development in Intelligent Systems XXI: Proceedings of AI-2004, pages 244257. Springer, 2004. [15] Robert E. Schapire. The boosting approach to machine learning: An overview. In MSRI Workshop on Nonlinear Estimation and Classication, 2002. http://www.cs.princeton.edu/ ~schapire/papers/msri.ps.gz. [16] I. Watson. Applying Case-Based Reasoning: Techniques for Enterprise Systems. Morgan Kaufmann Publishers, 1997.