SISTEMA DE INSPECCIN VISUAL AUTOMTICA DE AZULEJOS DE PATRN FIJO

Jos Miguel Valiente, Floreal Acebrn, Fernando Lpez, Jos Ramn Navarro
Universidad Politcnica de Valencia, Espaa
Departamento de Informtica de Sistemas y Computadores Correo electrnico: jvalient@disca.upv.es

RESUMEN
En este trabajo se presenta un sistema de inspeccin visual automtica desarrollado para detectar y clasificar defectos superficiales en piezas cermicas que presentan un patrn fijo. El sistema realiza un proceso de anlisis estructurado en varias etapas: La primera etapa es el registrado de imgenes, necesario para alinear espacialmente las imgenes de las piezas a inspeccionar con una imagen de referencia libre de defectos. La segunda etapa consiste en la comparacin pixel a pixel entre ambas imgenes, obteniendo un mapa de defectos. Posteriormente , del mapa de diferencias se extraen una serie de caractersticas que son de utilidad para discriminar los tipos de defectos ms comunes en este mbito. En funcin de estas caractersticas se etiquetan los distintos defectos, estimando la categora de la pieza. Palabras clave: registrado de imgenes, inspeccin de azulejos, extraccin de caractersticas, clasificacin de azulejos.

ABSTRACT
This work introduces an Automatic Visual Inspection System developed to detect and classify surface defects in tile pieces that have fixed decorative patterns. The image processing work is structured in several stages. The first stage is image registration, needed for the spatial alignment between the test tile image and the reference image. The second stage is a pixel to pixel comparison between both images, obtaining a defect map. Afterward, a set of features is extracted from the defect map. Using these features, the defects are labelled, according to the defect types commonly used in this field. Finally, the whole piece category is estimated. Key words: image registration, ceramic tile inspection, feature extraction, tile classification.

Introduccin

En la ltima dcada los sistemas de visin por computador se han consolidado como una pieza fundamental en los sistemas de produccin de las industrias. En este mbito las dos aplicaciones ms importantes de la visin, en un sentido amplio, han sido el ensamblaje automtico (Robtica) y la Inspeccin Visual Automtica. En el mbito de la Inspeccin Visual Automtica se ha producido una gran cantidad y variedad de aplicaciones. La mayora de los procesos industriales donde se han introducido los sistemas de inspeccin visual automtica se caracterizan por alguna o algunas de las siguientes propiedades (i) Procesos complejos con mltiples etapas en la cadena de produccin. (ii)Elevado ritmo de produccin. (iii)Alto valor aadido de cada pieza individual. (iv) Necesidad de control de calidad, no slo del producto final, sino tambin de los subproductos intermedios de la cadena de produccin. (v)Necesidad de una inspeccin del 100% de la produccin. En marco de la industria cermica, donde se inscribe el presente trabajo, se cumplen las propiedades antes citadas. Se producen una gran cantidad de piezas, las cuales tienen que ser analizadas en su totalidad por inspectores humanos. El control de calidad se

realiza en el producto final, con lo cual si se detecta un defecto una vez cocida la pieza, lo nico que se puede hacer es venderla como pieza defectuosa. Se trata de una tarea muy tediosa y repetitiva, que puede llegar a ser estresante para la persona que la realiza. El resultado final de esta inspeccin humana puede variar mucho, dependiendo del estado anmico de la persona, de las condiciones ambientales y de otros factores subjetivos difcilmente cuantificables. Adems, en algunas ocasiones, ni siquiera el operador humano puede efectuar la labor directa de inspeccin visual, bien por la velocidad del proceso o por la necesidad de analizar aspectos no diferenciables por el ojo humano. Los sistemas automticos de inspeccin, basados en sistemas de visin y otras tecnologas complementarias permiten, no slo uniformizar el proceso de inspeccin, sino que posibilitan la inclusin de la inspeccin en etapas intermedias del proceso productivo, con la posibilidad de ajustar dicho proceso, al tiempo que permiten eliminar piezas defectuosas en dichas etapas con el correspondiente ahorro de coste y la posibilidad de reciclado de material. La realizacin de un sistema de inspeccin para la deteccin automtica de defectos superficiales es una tarea extremadamente compleja, debido a la diversidad de defectos superficiales y a la gran variedad de patrones decorativos presentes en las piezas. Entre los tipos de defectos ms comunes podemos encontrar: 1 Defectos de integridad: Son debidos a perdidas de material en la superficie de la pieza. Este tipo de defecto es cuantitativamente el ms importante. Se producen fundamentalmente antes de la entrada al horno, cuando el azulejo es todava un material frgil. Defectos serigrficos: Se producen en las etapas de serigrafa y corresponden, o bien a desfases entre las distintas capas serigrficas, o bien a que los poros de la plancha se saturen y queden pegados momentneamente al azulejo. Defectos de coccin: Aparecen en la etapa de paso por el horno y pueden dividirse en dos subtipos: crter y pinchazo. El crter consiste en un sobresaliente de la superficie del azulejo, mientras que el pinchazo consiste en una hendidura en la superficie del mismo. Manchas: En todas las etapas de produccin pueden aparecer manchas en los azulejos debidas a suciedades que provienen del entorno de trabajo, como por ejemplo aceite, impurezas en los esmaltes, etc...

Actualmente las empresas del sector cermico fabrican una gran cantidad de modelos. Algunos de estos modelos son novedosos e intentan en muchos casos imitar productos naturales como por ejemplo piedra o mrmol, dando lugar a patrones visuales aleatorios o pseudo-aleatorios. En estos modelos se pretende que cada pieza sea diferente, aunque conservando una apariencia global uniforme. Otra parte de la produccin la ocupan los modelos que presentan un patrn visual fijo. En estos modelos se pretende que todas las piezas sean exactamente iguales entre si. El trabajo que se presenta aqu esta restringido a modelos de patrn fijo. La tcnica usada para detectar defectos superficiales en este tipo de piezas esta basada en la comparacin directa, pixel a pixel, entre la imagen que contiene la pieza a analizar (test) y una imagen que contiene un patrn de referencia. Por consiguiente es necesario el uso de un mtodo de registrado fiable que nos permita alinear ambas imgenes como paso previo a la comparacin. Todo este proceso debe realizarse en el menor tiempo posible, para que el sistema de inspeccin sea capaz de adaptarse a la velocidad de las lneas de produccin, varia entre 60 y 120 piezas por minuto.

El sistema de inspeccin

El sistema de inspeccin desarrollado (vase figura1) consta de dos mdulos: el mdulo de adquisicin y el mdulo de proceso. Dentro del mdulo de adquisicin pueden encontrarse los siguientes elementos: una cmara lineal RGB (Dalsa Trillium), encargada de realizar la adquisicin de las imgenes de las piezas, dos fotoclulas que realizan un control de presencia y un sistema de iluminacin fluorescente de alta frecuencia. El mdulo de proceso esta formado por un cluster de cuatro procesadores industriales unidos por una red de alta velocidad. Este mdulo es el encargado de analizar todas las piezas de la lnea de produccin. Si se detecta una secuencia de piezas defectuosas el mdulo de proceso activa una seal luminosa y/o acstica para informar al operario de que algo anormal esta ocurriendo en la lnea. A la entrada del sistema de inspeccin se encuentra un posicionador neumtico, que coloca la pieza en una posicin ptima para ser adquirida por la cmara. Tambin se dispone de un codificador ptico (10.000 impulsos/vuelta) que se utiliza para sincronizar la adquisicin de la imagen con la velocidad de la lnea en cada instante.

CABINA

LUCES ALARMAS

Fo

e lu toc

l as

CAMARA LINEAL DE COLOR (Trillium)

12

ENCODER

POSICIONADOR NEUMTICO

CINTAS

ENTRADA AZULEJO

AZULEJO

LAMPARAS Fluorescentes de alta frecuencia

Figura 1. Sistema de inspeccin. La metodologa propuesta se basa en un esquema tpico de visin por computador como el mostrado en la figura 2. La primera etapa consiste en la adquisicin de una imagen de la pieza libre de defectos, para utilizarla como patrn de referencia. La calidad de esta primera pieza debe ser contrastada por un operador experimentado para garantizar el correcto funcionamiento posterior.
Adquisicin imagen de referencia Registrado rgido Extraccin de caractersticas

Clasificacin

Figura 2: Fases del mtodo de inspeccin Cualquier imagen de test puede ser alineada con la imagen de referencia usando un mtodo global de registrado rgido. Una vez la imagen de test esta alineada con la imagen de referencia de forma precisa, pueden detectarse los posibles defectos computando la diferencia entre ambas imgenes. Las imgenes adquiridas tienen informacin de color en formato RGB. Sin embargo este espacio de color no es

perceptualmente uniforme, en el sentido de que pequeas distancias entre dos puntos de este espacio no se corresponden, necesariamente, con pequeas diferencias de color percibido. Es por esto por lo que se ha decidido utilizar otros espacios de color perceptualmente uniformes, como son el CIELAB y el CIELUV [1]. Una vez convertidas a estos espacios de color, las imgenes de referencia y de test pueden ser comparadas usando una medida estndar de distancia. La distancia eucldea es la ms sencilla de cuantas se pueden utilizar los espacios de color CIELAB y CIELUV. En general se dice que una distancia eucldea de 2,3 o superior es perceptible por el ojo humano [2]. El mapa de distancias o mapa de diferencias obtenido es umbralizado empleando un umbral de 2,3 por lo comentado anteriormente. Todos los objetos que aparecen en el mapa de diferencias son posibles defectos. De cada objeto se extrae un conjunto de caractersticas que posteriormente servirn para la clasificacin de cada objeto y en ultima instancia para la clasificacin de la pieza. A continuacin se comentan con ms detalle cada una de las etapas.

El mtodo de registrado

Las tcnicas de registrado de imgenes han sido aplicadas a una gran variedad de reas como tratamiento de imgenes mdicas, inspeccin automtica, reconocimiento de objetos, etc... Una recopilacin muy detallada de las tcnicas de registrado puede encontrarse en [3]. Sin embargo, slo hay un conjunto reducido de trabajos en el campo de la inspeccin visual de azulejos. En un artculo reciente [4] se introduce una interesante aproximacin basada en un proceso de refinamiento. En una primera fase se produce un registrado grosero pero muy rpido, basado en una deteccin de bordes, seguido de la transformada de Hough para encontrar las cuatro rectas que definen los laterales de la pieza. Posteriormente aplican una transformacin geomtrica a la imagen de test para alinearla con la imagen de referencia. En un segundo estado refinan los parmetros de la transformacin usando un mtodo de correlacin de fase. En un trabajo previo [5] realizamos un estudio de las diferentes tcnicas de registrado rgido aplicadas a la inspeccin de piezas cermicas. Los experimentos se realizaron considerando que la imagen de test poda estar trasladada, rotada y escalada con respecto a la imagen de referencia. En el presente trabajo se ha procedido a implementar el mtodo de registrado que mejor se comporto en aquellos experimentos, teniendo en cuenta tanto su precisin y fiabilidad, como el tiempo de computo requerido. Este mtodo es el que se comenta a continuacin: El mtodo, al igual que ocurre en [6], trabaja solamente con la informacin almacenada en los puntos de bordes. Despus de estudiar algunos de los mejores mtodos para obtener un umbral ptimo, se selecciono un mtodo de entropa cruzada. [7]. Usando 20 lneas de muestreo convenientemente espaciadas en horizontal y vertical se obtienen cuatro conjuntos de 20 puntos. Cada uno de estos conjuntos de puntos es aproximado a una recta utilizando el mtodo de mnimos cuadrados. Una vez se han computado los rectngulos que forman la imagen de test y la de referencia, ambas imgenes se registran usando la siguiente transformacin:

x r cos = y r sin

sin x d x + cos y dy

donde p(x,y) and pr(xr,yr) son las esquinas superior izquierda de la imagen de test y la imagen de referencia, y el ngulo de rotacin, como puede apreciarse en la figura 3.

O
pr (xr,yr)
(dx,dy)

p (x,y)

tile Reference

ile Test t

Figura 3. Parmetros de la transformacin. En la figura 4 puede apreciarse un ejemplo, en el que aparece un azulejo de referencia, un azulejo a analizar (test), el resultado obtenido tras la etapa de registrado y el mapa de diferencias.

(a)

(b)

(c)

(d)

Figura 4: (a) referencia (b) test (c) test registrada (d) mapa de diferencias.

Extraccin de caractersticas

Una vez registradas ambas imgenes se obtiene un mapa de diferencias computando la distancia eucldea entre todos los pixeles de la imagen patrn y sus parejas en la imagen de test. Todos los objetos que aparecen en el mapa de diferencias son posibles defectos. Con el objetivo de caracterizar cada uno de los objetos se han extrado para cada uno de ellos un conjunto de caractersticas que se exponen detalladas a continuacin:
rea: m00 = f ( x, y )
x =1 y =1 N N

f ( x, y ) = 1

Permetro: Se ha calculado averiguando para cada pxel que formaba parte del objeto si dicho pxel estaba en el lmite del objeto en cuyo caso pertenece al permetro. Longitud del eje mayor y eje menor:

LongEjeMayor = 4

(( 20 + 02 ) + ( 20 02 ) 2 + 4 11 )
2

2 00

LongEjeMenor = 4 donde:

(( 20 + 02 ) ( 20 02 ) 2 + 4 11 )
2

2 00

m pq = x p y q f ( x, y )
x =1 y =1 N N

f ( x, y ) = 1 f ( x, y ) = 1

pq = ( x x 0 ) p ( y y 0 ) q f ( x, y )
x =1 y =1

m10 m y 0 = 01 m00 m00 Orientacin del objeto: Es el ngulo que forma el Eje Mayor con respecto a la horizontal: x0 =

2 11 1 arctan( ) 20 02 2

Elongacin del objeto: Da una medida de la elongacin del objeto, su valor est entre 0 y 1: Objeto alargado. 0 Objeto cuadrado o circular. 1 Elongacin = LongEjeMenor LongEjeMayor

Circularidad del objeto: Relacin entre el rea y el permetro. El resultado es una medida de la "redondez" o lo compacto del objeto, su valor est entre 0 y 1. A mayor ratio, ms redondo es el objeto. Si el ratio es 1 el objeto es un crculo perfecto.
Circularidad = 4 * rea permetro 2

Compacidad del objeto: Describe lo circular o estrellado que es un objeto. Si el valor es alto, el objeto presenta varios entrantes y salientes y/o huecos.
Compacidad = 1 Circularidad

Permetro/Area: Establece la Relacin entre el permetro y el rea de tal forma que valores cercanos a 1 indicarn que el objeto es ms fino y valores cercanos a 0 indican que el objeto es ms grueso.
PerimetroVSArea = Perimetro Area

N puntos borde v.s. Permetro: Define la relacin entre el nmero de puntos del objeto que tocan el borde y el perimetro de dicho objeto, de tal forma que: Objeto totalmente interior. 0 Objeto en el borde completamente. 1
PuntosBordeVSPerimetro = N PuntosBorde Perimetro

Area objeto v.s. rea rectngulo: Relacin del objeto respecto al rectngulo que lo contiene:
AreaObjetoVSArea Re c = AreaObjeto Area Re c

Area objeto v.s. Area ejes: Relacin del rea del objeto respecto al rea del rectngulo cuyas dimensiones son EjeMayor x EjeMenor: AreaObjetoVSAreaEjes = AreaObjeto | EjeMayor | * | EjeMenor |

Para eliminar el ruido que se produce durante el registrado, nicamente se van a tener en cuenta los objetos que cumplan las siguientes condiciones: 1 Tener un rea mayor a 2.5mm, teniendo en cuenta que estamos trabajando con una resolucin de 4 pxeles/mm, todos aquellos objetos con un rea menor a 10 pxeles sern filtrados. Los objetos alargados cuyo nmero de puntos en el borde superen el 40% de su permetro y adems tengan una elongacin < 0.2 sern eliminados ya que, normalmente , se deben al ruido producido en el proceso de registrado. Aquellos objetos interiores cuyo permetro/area sea >= 0.65 y que tengan una elongacin < 0.2, tambin sern eliminados debido a que corresponden a lneas muy finas, que son producidas por el ruido generado en el registrado. Aquellos objetos cuyo permetro/rea supere el 98%.

Estas restricciones se han introducido para limitar el nmero final de defectos detectados, y para reducir los efectos debidos a artefactos introducidos durante la etapa de registrado.

Clasificacin de defectos

A continuacin se proponen unos criterios de clasificacin basados en la experiencia de los clasificadores y en los experimentos realizados con una gran variedad de azulejos. Estos criterios van a establecer la relacin existente entre las caractersticas calculadas y los tipos de defectos a considerar, los cuales pueden apreciarse en la figura 5:
El defecto de integridad: Las caractersticas que tienen esta clase de defectos son las de ser bastante compactos y localizarse mayoritariamente en los bordes, es decir son

defectos que se localizan mayoritariamente en el exterior del azulejo y adems son compactos. N de puntos en el borde > 0 AreaObjetoVSAreaEjes > TI
El defecto de serigrafa: Las caractersticas que caracterizan a los objetos con este tipo de defecto es la elevada dispersin, adems de no encontrarse en el borde.

N puntos en el borde = 0 AreaObjetoVSAreaEjes <= TS

El defecto de mancha: Las caractersticas que definen a una mancha, son las de ser compactas e interiores.

N puntos en el borde = 0 AreaObjetoVSAreaEjes > TM

(a) (b) Figura 5. Imgenes que contiene piezas defectuosas. a) Integridad. b) Manchas. Se han propuesto unos criterios de clasificacin muy sencillos basados en nuestra experiencia y en la experiencia de los clasificadores de la empresa cermica. Que ha colaborado en este proyecto. nicamente se pretende decidir, de momento, es si existe defecto y si ste es de integridad, mancha o serigrfico, sin realizar ninguna cuantificacin dentro de cada categora. En un trabajo posterior se abordar el desarrollo de un clasificador ms robusto teniendo en cuenta el resto de caractersticas propuestas.

Experimentos y resultados

Con el objetivo de fijar los umbrales TI, TS, TM, propuestos en el punto anterior se han realizado pruebas con nueve modelos de los ms representativos de la empresa. Estas pruebas se han realizado en laboratorio, utilizando azulejos etiquetados por clasificadores experimentados. Para cada modelo de azulejo se dispone de 10 piezas sin defectos y tres conjuntos de 50 piezas que presentan defectos de integridad, manchas y serigrafa.

Para realizar las pruebas una de las imgenes que contiene un azulejo sin defectos se ha utilizado como imagen de referencia y las 150 imgenes con azulejos defectuosos como imgenes de test. Los resultados han sido los siguientes: 5 Los defectos de integridad se localizan siempre en los bordes de la pieza cermica, adems suelen ser bastante compactos y se ha establecido que su grado de compacidad es siempre mayor al 40% (TI = 0.4). Tomando como medida de compacidad la caracterstica de AreaObjetoVSAreaEjes. Los defectos serigrficos se extienden por el interior del azulejo y adems poseen una gran dispersin. Observaciones obtenidas a partir de las pruebas indican que su compacidad est por debajo del 40% (TS = 0.4). Las manchas son interiores y compactas observndose que un valor de la compacidad por encima del 40% (TM = 0.4) indica mancha.

7 8

Sobre los defectos de tipo pinchazo o crter es de destacar que suelen ser bastante pequeos y que normalmente no se detectan, pero cuando se detectan son tratados como manchas debido a que son interiores y compactos. Dichos defectos deberan ser tratados utilizando un sistema de iluminacin direccional que resalte los cambios de relieve y con una cmara de rea que sea capaz de recoger esos cambios. Es importante destacar que el algoritmo detecta el 100% de los defectos de los tres tipos, pero debido a lo rudimentario del clasificador ocurren algunas cosas curiosas que pasamos a comentar. Si una mancha esta situada de tal forma que ocupa parte del borde de la pieza, es detectada, pero clasificada como defecto de integridad. Si un defecto de integridad se sita en el interior de la pieza, es detectado correctamente pero clasificado como una mancha. Y por ltimo si un defecto serigrfico esta situado en el borde de la pieza, se detecta correctamente pero se clasifica como un defecto de integridad.

Conclusiones

Como conclusin es de destacar la importancia, en todo este proceso, de cada una de las etapas en que se divide y que son: Se ha hecho especial nfasis en desarrollar un buen mtodo de registrado de las imgenes, para hacer corresponder de forma muy precisa cada pxel del test con su pareja en el patrn y poder realizar as la diferencia entre ambos. Es posible utilizar una ventana de dimensin n x n centrada en el pixel bajo estudio, lo que permite eliminar posibles inexactitudes del registrado. Todo el proceso posterior depende enormemente de la fiabilidad y precisin de esta primera etapa. Se han estudiado diferentes espacios de color que nos permitan realizar una buena deteccin de los defectos generando el menor ruido posible. Los espacios estudiados han sido CIELAB, CIELUV. En ambos espacios se han obtenido buenos resultados trabajando con distancias eucldeas para el calculo de las diferencias entre colores. Se ha propuesto un conjunto amplio de caractersticas que nos aportan informacin sobre la forma del defecto, su posicin, compacidad, etc, lo que nos permite obtener una buena caracterizacin de los defectos. Por ltimo, se ha implementado un clasificador ad-hoc basado en las experiencias que se han realizado con un gran nmero de modelos. Este clasificador permite determinar si el defecto es de integridad, mancha o serigrafa. Una vez clasificados todos los defectos de la pieza, se estima la categora de la misma utilizando un segundo

clasificador. Este clasificador de nivel superior determina a cual de las cuatro categoras: primera, segunda, tercera, tiesto pertenece la pieza. Clasificada la pieza el operador puede asociar diferentes acciones a cada tipo de categora, como por ejemplo si la pieza es clasificada como tiesto, dar la orden a un brazo neumtico para que lo retire de la lnea.

Agradecimientos
El presente trabajo se inscribe en el marco del proyecto Feder 1FD97-0999, denominado Sistema de inspeccin ptica para la deteccin automtica de defectos en azulejos (SIO). Este proyecto cuante con la financiacin del Ministerio de Ciencia y Tecnologa (CICYT- MCyT) y de la Comisin Europea. As mismo, se ha contado con la colaboracin del grupo de empresas cermicas Gres de Nules Keraben S.A.

Referencias
1) SANGWINE, Stephen & HORNE, Robin. Colour Image Processing Handbook. Cahpman &Hall, 1998. 2) MAHY, M.L & VAN EYCKDENM, A, Evaluation of uniform Color Spaces developed after the Adoption of CIELAB and CIELUV. Color Res. And Appl. v. 19, n 2, pp. 105-121, 1994. 3) GOTTESFELD, L, A Survey of Image Registration Techniques. ACM Computing Surveys. v. 24, n 4, pp. 327-376, 1992.
4) COSTA, C.E & PETROU, M, Automatic Registration of Ceramic Tiles for the Purposes of Fault Detection. Machine Vision and Applications. v. 11, pp. 225-230, 2000. 5) LPEZ, Fernando & ACEBRN, Floreal & VALIENTE, Jose & PREZ, Enrique, A Study of Registration Methods for Ceramic Tile Inspection Purposes. In: IX Spanish Symposium on Pattern Recognition and Image Analysis. v. 1, pp. 145-150. Castelln, 2001. 6) HSIEH, J, Image Registration Using a new Edge-Based Approach. Computer Vision and Image Understanding. v. 67, n 2, pp. 112-130, 1997.

7) LI, C.H. & LEE, C.K, Minimum Cross Entropy Thresholding. Pattern Recognition. v. 26, n 4, pp. 617-625, 1993.

10