See

discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/255626919

Visin para Robots en Tareas de Ensamble

Article January 2003

CITATION

READS

581

5 authors, including:
I. Lopez-Juarez

Jorge Corona

Center for Research and Advanced Studies of

Centro de Tecnologia Avanzada

96 PUBLICATIONS 169 CITATIONS

10 PUBLICATIONS 52 CITATIONS

SEE PROFILE

All in-text references underlined in blue are linked to publications on ResearchGate,

letting you access and read them immediately.

SEE PROFILE

Available from: I. Lopez-Juarez

Retrieved on: 27 August 2016

Visin para Robots en Tareas de Ensamble

M. Pea,*I Lpez-Jurez,*J. Corona,*K.Ordaz
*CIATEQ,A.C.
IIMAS-UNAM
e-mail: mario@leibniz.iimas.unam.mx
ilopez@ciateq.mx

Resumen
En el trabajo se presenta un sistema de
visin que le permite a un robot manipulador
KUKA de 6 grados de libertad (DOF), obtener
informacin del POSE (localizacin del
objeto) para realizar tareas de ensamble en
lnea (tiempo real).
El sistema de visin forma parte de una
celda de manufactura inteligente que se esta
integrando en el Laboratorio de Manufactura
Inteligente del CIATEQ en Quertaro, Mxico.
Se presenta la arquitectura del sistema
diseado, y la descripcin del mtodo
utilizado para obtener informacin de la
posicin y la orientacin en tiempo real de
imgenes 2D obtenidas con tcnicas de
segmentacin basndose en el anlisis de
histogramas 1D y 2D. La base de
funcionamiento con formas de imgenes
binarias, hace al sistema robusto y flexible, lo
que permite utilizarlo tambin en aplicaciones
de visual servoing. El proceso de
adquisicin de la imagen, proceso de
calibracin y procesamiento de los datos para
generar las siluetas (imagen binaria) y extraer
caractersticas (features) es mostrado.
Tambin se presenta la integracin
sensorial y descripcin general de los
algoritmos de inteligencia utilizados en el
modo de visin en la celda de manufactura.

Palabras Clave: Sistema de Visin, ensamble,

sensor CCD, histograma, celda de manufactura
inteligente, robot manipulador, cmara
progresiva.

1. Introduccin
Recientemente, se ha generalizado la
idea de contar con celdas inteligentes de
manufactura que utilicen robots con
capacidades
sensoriales
y
algoritmos
inteligentes
basadas
en
las
ltimas
investigaciones y desarrollos en Inteligencia
Artificial (IA) como son: lgica difusa y redes
neuronales. Utilizar estas tcnicas, simplifica el
manejo de modelos matemticos complejos
que requieren de bastante tiempo de cmputo
para su implementacin. Utilizar sistemas
multimodales que obtengan informacin de
diferentes modos sensoriales con el propsito
de manufactura, nos hace pensar en sistemas
ms robustos, auto-adaptables y parecidos al
comportamiento humano que necesariamente
mejoran el desempeo, y flexibilidad en
aplicaciones
comunes
con
robots
manipuladores [1].
Diferentes sensores en sistemas de
manufactura, han sido utilizados para realizar
diferentes tareas muy especficas y por
separado como son: gua de trayectorias para
soldar piezas, sistemas de visin para
aplicaciones de inspeccin y control de calidad
y sensores de fuerza/torque para realizar tareas
de ensamble. La integracin de robots con
capacidades sensoriales para realizar tareas de
ensamble en una celda flexible de manufactura,
representa un tema de vanguardia en la
investigacin y desarrollo de sistemas de
manufactura inteligente. La mayora de los
usuarios y fabricantes que utilizan sistemas
automatizados en la fabricacin, han puesto su
empeo en mejorar la precisin y velocidad de
los sistemas robotizados, pero a un lado de las

habilidades cinemticas de un robot, sus

capacidades sensoriales no han sido
desarrolladas y son necesarias para proveer al
robot con un alto grado de flexibilidad y
autonoma en sus tareas de manufactura. Para
lograr este objetivo es necesario cumplir con
los requerimientos de un ambiente de
produccin, cuyas caractersticas pueden
resultar un factor crucial en el proceso de
fabricacin como son:

incertidumbre en la posicin de las

herramientas o piezas de trabajo. Para
solventar esto, se utilizan partes y
accesorios que garantizan posiciones
fijas para realizar los ensambles pero
resultan costosas, muy particularizadas
y generalmente con necesidad de ser
ajustadas en ciertos intervalos de
tiempo de uso.
operacin de los manipuladores con
piezas de trabajo que se mueven.
evaluacin de fuerzas de interaccin y
torques.
La idea entonces, es contar con robots autoadaptables con capacidades sensoriales y de
aprendizaje de habilidades en la fabricacin en
lnea. Para ello, se necesita una integracin de
diferentes modos de percepcin sensorial, de
manera que el desempeo se parezca al
comportamiento humano en sus tareas de
aprendizaje y ejecucin en procesos de
manufactura. (operaciones de ensamble)[2].
Los modos que han sido ms utilizados
son: reconocimiento de voz, visin y sensado
de fuerza.
En CIATEQ, A.C., Centro de
Tecnologa Avanzada, se han desarrollado por
muchos aos diseos y fabricacin de
mquinas especializadas para procesos de
manufactura especficos, actualmente se ha
concebido la necesidad de desarrollar celdas
inteligentes de manufactura con capacidades
sensoriales. En el trabajo, se presenta la
arquitectura de la celda con los modos

sensoriales que se han integrado, haciendo

nfasis en el sistema de visin. El brazo-robot
tiene la habilidad de realizar operaciones de
ensambles (peg-hole operation), que pueden
ser mejorados con la experiencia. Para este fin
se utilizan redes neuronales artificiales (ANN)
ART (Adaptive Resonance Theory) Fuzzy
ARTMAP en conjunto con una base de
conocimientos dinmica. La parte medular en
la celda es un brazo-robot de 6 grados de
libertad que realiza tareas de ensamble y
obtiene
informacin
sensorial
de
reconocimiento de voz, visin y sensado de
fuerza.
2. Arquitectura del Sistema
Como se muestra en la figura 1 y 2, la
arquitectura del sistema de celda de
manufactura, est formada por una PC maestra
industrial en donde residen una tarjeta de
sensado F/T basada en DSP, el software de
reconocimiento de voz y el NNC (Neural
Network Controller). En una computadora
dedicada se implementa el sistema de visin y
reside el frame grabber. Otros elementos de
la celda son: el manipulador industrial KUKA
KR15, controlador KRC2, el Panel de Control
KCP, sensor de fuerza torque JR3 F/T, cmara
progresiva con sensor CCD y micrfono. El
brazo-robot
y
su
controlador
estn
interconectados con dos cables especializados
para obtener la potencia e intercambio de datos,
la computadora maestra se conecta al sistema
de visin y controlador del robot mediante
puertos seriales usando el protocolo Xon/Xoff.
Reconocimiento
de
voz
(voice
recognition), sistema de visin (machine
vision) y sensado de fuerza (force sensing), son
los modos sensoriales que actualmente se estn
integrando y han sido utilizados exitosamente
para proporcionar al robot habilidades para
manipular objetos y realizar tareas de
ensamble. Dentro del objetivo principal se
encuentra la implementacin en la celda de un
planificador de tareas y una arquitectura

neuronal multimodal para percepcin sensorial

en robots industriales. [3], [4].

remocin de percepciones, considerando as el

utilizar M2ARTMAP para la implementacin.

Figura 2. Celda de Manufactura CIATEQ

Figura 1. Arquitectura General

2.1 Multimodalidad
La multimodalidad est restringida a
las interacciones que comprenden ms de una
modalidad en la percepcin como:
Percepcin Sensorial

Organo

Modalidad

Sentido de la vista

Ojos

Visual

Sentido del Odo

Odos

Auditiva

Sentido del Tacto

Piel

Tctil

Sentido del Olfato

Nariz

Olfativa

Sentido del Gusto

Lengua

Gustativa

Sentido del equilibrio

Organo de equilibrio Vestibular

El desarrollo de la celda SIM (Sistema

integrado de Manufactura), se basa en las
investigaciones
de
Lpez-Jurez
de
aprendizaje maquinal en un sistema robtico
de ensamble que utiliza sensado de fuerzas de
contacto, esta investigacin ha sido extendida
para
incorporar
vision
artificial
y
reconocimiento de voz y proporcionar mayor
autonoma al sistema robtico, con esto surge
la necesidad de una arquitectura neuronal
multimodal que facilite la integracin o

El trabajo hace nfasis en el modo

sensorial de visin y el objetivo es
proporcionar al robot la informacin necesaria
por medio de un vector descriptivo que le
permite aproximarse a tomar una pieza que se
quiera ensamblar dentro de un volumen
especfico de trabajo y pasar luego a realizar
tareas autnomas de ensamble. La informacin
de que objeto se trata, es aprendida por el
sistema utilizando un modelo de red neuronal
M2ARTMAP, desarrollado por el grupo de
investigacin en mecatrnica y manufactura
inteligente del CIATEQ.
El sistema inteligente de manufactura hasta el
momento cuenta con cuatro modos sensoriales:
reconocimiento de voz, visin, reconocimiento
de escritura y sensado de fuerza. Cada modo
sensorial se encuentra en una etapa de
desarrollo diferente y la idea es alcanzar una
integracin de modos de percepcin sensorial
para utilizarlos con robots industriales en
procesos de manufactura.
2.2 Reconocimiento de Voz
La interfase hombre-mquina de alto
nivel se lleva a cabo por reconocimiento de
voz, utilizando una interfase de programa de

aplicacin comercial (API) de Dragon

Systems. El control Active-X se ha
incorporado al controlador principal del brazorobot, de manera que puede ser instruido a
moverse en: movimientos X-Y, velocidad y
seleccin del cuadro de coordenadas del robot
por medio de voz.
2.3 Sensado de Fuerza y Habilidad de
Aprendizaje
El sistema que habilita el aprendizaje
para el ensamble, est implementado en la
computadora maestra con un sistema de
sensado de fuerza que provee al NNC (Neural
Network Controller) de la informacin
requerida para aprender la operacin de
ensamble en lnea. El diseo del NNC est
fundamentado en la robustez de ART para el
aprendizaje incremental combinndolo con
una base de conocimiento primitiva dinmica
(PKB), que inicialmente provee al robot con
un conjunto mnimo de informacin de
condiciones de fuerza de contacto y alineacin
de movimientos. El conocimiento es mejorado
en lnea basado en el suceso de prediccin de
movimientos que reducen las fuerzas que
impidan realizar ensambles ms rpidos
mejorndose as el desempeo [5].

obtiene la informacin de la localizacin del

objeto que se tomar para el ensamble y en
donde se va a ensamblar, con informacin
visual (modo visual) se dirigen los
movimientos para aproximarse al objeto (pose)
y tomarlo (grasping), luego aproximarse al
lugar de ensamble y cambiar de modo
sensorial (modo sensado de fuerza) para
obtener informacin de fuerza (tacto) y realizar
el detalle fino del ensamble. Las figura 3.
muestra esta idea.

Figura 3. Ensamble

2.3 Ensamble

3. Sistema de Visin

Tpicamente, los sistemas de ensamble

robotizados
trabajan
con
una
gran
incertidumbre asociada a diferentes factores
durante el proceso de ensamble que pueden
llevar a una operacin a fallar, como lo son:
errores de posicin, perturbaciones durante el
ensamble, sacudidas en los engranes de las
junturas del robot, ruido, etc. Tener un sistema
de visin que realimente los movimientos
iniciales del brazo-robot para posicionarse en
el lugar y realizar la operacin de ensamble
proporciona robustez y certeza en los procesos
de este tipo en lneas de manufactura. La idea
es dar al manipulador capacidades parecidas a
como lo hacen los humanos, primeramente se

El
modo
sensorial
de
visin
proporciona al brazo-robot, la informacin
espacial en la localizacin (POSE) y captura de
partes (grasping). La figura 4 muestra al
sistema de visin integrado por: una cmara de
televisin de alta velocidad del tipo progresiva
con sensor CCD/B&W, PULNIX 6710 [6],
colocada en un sistema de posicionamiento
X-Y en la parte superior de la celda de
manufactura, lo que permite tener escenas de
partes en diferentes localidades dentro del
rea de trabajo.

Figura 4.- Localizacin de cmara en

sistema de posicionamiento X-Y.

La cmara de televisin tiene una

resolucin de 648x482 pixeles y puede
adquirir pixeles hasta velocidades de 40Mhz
con 32 bits en modo LVDS y 20MHz. con la
interfase RS-422, est conectada a un frame
grabber PC-DIG de Coreco Imaging [7],
instalado en una computadora PC. La imagen
es adquirida y procesada para obtener
informacin confiable dentro de un rango de
iluminacin considerable en tareas de
manufactura dentro de un ambiente industrial.
Implementar un sistema de iluminacin para
optimizar estas primeras fases es una etapa que
se encuentra en desarrollo, con lo que se
espera tambin aplicar mtodos originales para
la obtencin de informacin en 3D basados en
tcnicas de segmentacin de imgenes de
proyecciones del objeto.
La imagen es procesada para obtener
una imagen binaria sobre la cual se aplican

algoritmos que permiten transformar la forma

en una coleccin ordenada de pares numricos
la cual es analizada y utilizada para obtener
informacin de las coordenadas del centroide y
puntos importantes de la forma que permiten el
clculo de la orientacin del objeto para
obtener el POSE [8]. Por el anlisis de stos
pares numricos se forma un vector descriptivo
del objeto que se integra a la informacin del
POSE para formar el CFD (current frame
descriptor/on line), el formato de este vector
puede ser alimentado al modelo de red
neuronal que se utiliza y desarrollado por K.
Ordaz e I. Lpez. La informacin del vector
descriptivo es adquirida por la computadora
maestra a travs de un puerto serie para instruir
al controlador los movimientos necesarios para
alcanzar la parte que se quiere atrapar y luego
realizar la tarea de ensamble especfica que le
mande el sistema planificador de tareas
desarrollado por J. Corona e I. Lpez. La figura
5. muestra la arquitectura general del sistema
de visin en donde se plantea el esquema que
se utiliza dentro de la celda de manufactura,
trabajos en desarrollo contemplan llevar al
sistema de visin a realizar la adquisicin de la
imagen de modo estereoscpico o con una
configuracin de cmara en mano en un futuro.

Figura 5.- Configuracin General del

Sistema de Visin

El mtodo de calibracin utilizado para

obtener las coordenadas de imagen (en
pixeles) con las coordenadas de mundo real
(en escena real de trabajo), se resume en el
diagrama:

deseados, el mtodo y algoritmo que se utiliza

se muestra a continuacin:

Adquisicin y Obtencin del POSE &

Reconocimiento (CFD)
Calibracin de imagen

En el mtodo se siguen los siguientes pasos:

Se establece un sistema de coordenadas

en 2D con cuatro puntos proyectados
en el rea de trabajo.
Se establece la localizacin de los 4
puntos dentro de la imagen
Se asocian las posiciones de los 4
puntos en la imagen con medidas de las
coordenadas del mundo real
Se aplica el algoritmo de correccin
para escalamiento, perspectiva y
rotacin
Se obtienen las transformaciones de
medidas en pixeles a unidades reales
Cada vez que se cambie de localidad
en la cmara se recalibra el sistema

Una vez calibrado el sistema se procede a

adquirir la imagen en cuestin para obtener la
informacin de POSE & reconocimiento

Ejemplos de imgenes antes y despus de

aplicar el algoritmo para la obtencin con la
informacin para formar el vector descriptivo
(CFD) con dimensiones de 32x32 que contiene
la informacin de las propiedades del objeto, se
muestran en la figura 6.

Figura 6. Imgenes del Proceso de Obtencin

del POSE

4. Resultados y conclusiones
Al momento se han obtenido resultados
satisfactorios con el sistema de visin para la
localizacin de partes en lnea, con la
restriccin de conocer previamente la
informacin de la altura de los objetos, se han
realizado experimentos con figuras bsicas en
2D como cuadros, crculos, rectngulos,
tringulos y polgonos en general, para luego
realizarlos con polyhedros como cubos,
pirmides, y conos. En un porcentaje alto el
resultado es satisfactorio para la obtencin del
POSE, en cuanto al reconocimiento el
resultado es satisfactorio actualmente con
figuras en 2D, la implementacin del sistema
de iluminacin que permitir obtener la
informacin de 3D est en desarrollo y no se
han obtenido resultados. La metodologa para
obtener las mediciones se realiza en base a la
lectura de mediciones repetitivas para el
mismo objeto varias veces y para diferentes
objetos y se establecen clculos estadsticos
bsicos como medias y variancias para tomar
conclusiones (los mtodos estadsticos no son
presentados en este trabajo). Las mediciones
se hacen considerando un cierto rango de
iluminacin fuera del cual el sistema es
propenso a equivocaciones. Resultados
esperados se han obtenido al poder obtener
informacin del POSE en tiempo real, lo que
permite realizar aplicaciones en lnea y
proporcionar a un sistema planificador de
tareas de ensamble la informacin necesaria
para alcanzar la parte requerida, capturarla e
iniciar el proceso de ensamble con otros
modos sensoriales como el sensado de fuerzas
y el reconocimiento de voz.
5. Referencias
[1] I.Lpez-Jurez, On-Line Learning for
Robotic Assembly using artificial neural
networks and contact force sensing, PhD.
Thesis, Nothingham Trent University,
Inglaterra, 2000.

[2]
L. Wu,S. L. Oviatt, P. R. Cohen,
Multimodal Integration A Statical View,
IEEE Transactions on Multimedia, vol 1 ,
Num. 4, pp 334-341, 1999.
[3]
I. Lpez-Jurez, M. Howarth. Learning
Manipulative Skills with ART. IEEE/RSJ
International Conference on Intelligent Robots
and Systems ( IROS2000), Takamatsu, Japan,
Vol 1, pp 578-583 ISBN 0-7803-6351-5.
[4]
K.Ordaz, I. Lopez-Juarez,
Hacia M2ARTMAP: Una Arquitectura
Neuronal Multimodal
para
Percepcin
Sensorial en Robots Industriales, TAM2003,
Taller de Aprendizaje de Mquinas dentro de la
4. Conf. Int. en Ciencias Computacionales
2003 (ENC03), Tlaxcala , Mxico, 8-12
Sept.2003.
[5] I. Lpez-Jurez, M. Howarth. Knowledge
Acquisition and Learning in Unstructured
Robotic
Assembly
Environments,
The
International Journal of Information Sciences,
2002.
[6]

www.pulnix.com

[7]

www.imaging.com

[8]
M. Pea, I. Lpez-Jurez, R. Osorio.
Invariant Object Recognition Applied to
Machine Robot Vision (In Spanish). 17th.
Conference of the Mexican Society for
Instrumentation2002, October 2002.