Asociación Española de XX CONGRESO NACIONAL

Ingeniería Mecánica DE INGENIERÍA MECÁNICA

Tecnologia de Realidad Aumentada aplicada a los

procesos de montaje aeronauticos
J. Serván1, R. Arista1, M. Oliva1, F. Mas1, J. Ríos2
1Dpto. de PLM, Process and Tool Solutions. Airbus Gorup. fernando.mas@airbus.com
2Dpto. de Ingeniería Mecánica y Fabricación. Universidad Politécnica de Madrid. jose.rios@upm.es

La realidad aumentada es una tecnología que ha sufrido una gran evolución en los últimos años y
su campo de aplicación es muy amplio, incluyendo a la industria y en especial a la industria
aeronáutica. Airbus Defense and Space ha desarrollado algunos proyectos y obtenido algunas
patentes para el uso de esta tecnología en entornos industriales aeronáuticos, y especialmente
para proporcionar soporte al montaje de aviones.

Desde el año 2007 Airbus Defense and Space ha desarrollado proyectos junto con Universidades
y Centros de Investigación, utilizando diversos medios: realidad aumentada por voz, realidad
aumentada mediante proyección laser y realidad aumentada convencional con marcadores
artificiales. Actualmente, está desarrollando el proyecto CALIPSOneo, y como parte del mismo el
paquete de trabajo ELARA en el que se ha llevado a cabo un importante avance en el campo del
posicionamiento y seguimiento sin marcadores, mediante la utilización de visión artificial. ELARA
permite explotar la información contenida en la maqueta digital industrial (industrial Digital
Mock Up - iDMU), desarrollada en los sistemas PLM (Product Lifecycle Management). Esto
mejora la trazabilidad de los procesos de montaje y reduce el tiempo de ingeniería a la hora de
elaborar la documentación de taller.

Como resultados del proyecto ELARA, se ha desarrollado el proceso de explotación de la iDMU

para la generación de instrucciones de trabajo en formato de realidad aumentada. Se han
definido e implementado los fundamentos tecnológicos para su uso industrial. Se ha puesto a
punto un demostrador industrial utilizando partes reales de una aeronave y comprobando la
solución en condiciones reales.

1. Introducción.
En una línea de montaje aeronáutico la cantidad de información que se maneja y que es necesario poner a
disposición del taller es muy elevada. Dicha información se define en documentos denominados Instrucciones
Técnicas (IT) de montaje. Estos documentos contienen la descripción técnica detallada del proceso de montaje,
la lista de los elementos que se deben montar, los requisitos de calidad y la información relativa al utillaje,
medios industriales y herramientas necesarias para desarrollar el trabajo. Este documento se publica en papel o
se consulta en una pantalla de ordenador y se genera con editores de texto incluyendo vistas en 2D de las
capturas realizadas de la maqueta digital del producto. La instrucción técnica se obtiene una vez que se ha
finalizado el diseño industrial, y para su generación y mantenimiento se requiere una inversión en tiempo
bastante costosa. Aspectos que se pueden mejorar en este proceso son la conexión con la maqueta digital de
diseño industrial y el despliegue de las ITs utilizando técnicas de Realidad Aumentada (RA).
La utilización de técnicas de RA tanto en diseño como en fabricación viene siendo el objetivo de diferentes
proyectos y trabajos de investigación desde hace varios años [1]. El interés en la aplicación y desarrollo de
técnicas de RA comprende los dispositivos, las aplicaciones para su control y comunicación con otros sistemas,
y su utilización en diferentes áreas de conocimiento: diseño de producto, simulación de procesos controlados
numéricamente (robots, máquinas de mecanizado), simulación de disposición en planta, mantenimiento y
montaje [1].
La utilización de la RA como forma de despliegue de información en el taller para tareas de montaje está
reconocida en la literatura desde hace varios años [2]. En algunos casos, si se compara con la realidad industrial
del sector aeronáutico, las propuestas que se recogen en la literatura sobre cómo utilizar la RA para crear ITs
resultan excesivamente simples [3]. El aspecto de simplicidad afecta tanto a la problemática en la utilización de
Tecnologia de Realidad Aumentada aplicada a los procesos de montaje aeronauticos 2

la información de producto, procesos y recursos definida en la fase de industrialización y que requiere de su

adaptación para poder ser utilizada en el despliegue de las ITs, como en las diferentes técnicas que pueden ser
necesarias para realizar dicho despliegue.
Considerando esos dos aspectos problemáticos, utilización de información de la maqueta digital y técnicas para
el despliegue de las ITs, Airbus ha promovido varios proyectos para asistir a las tareas de montaje aeronáutico.
En primer lugar, se ha trabajado en el desarrollo del concepto de maqueta digital industrial (industrial Digital
Mock Up - iDMU) [4], [5]. En segundo lugar, se han realizado proyectos que han tenido por objetivo mejorar la
explotación de la información de montaje aeronáutico en el taller: SUN [6], SAMBA-Laser [7], MOON [8][9].
Todos estos trabajos parten de una maqueta digital industrial previamente preparada para poder ser explotada de
la forma más eficiente según el proyecto donde iba a ser utilizada. No obstante, una deficiencia observada de
forma repetida en estos proyectos, fue que cada vez que algún componente (Proceso, Producto o Recurso - PPR)
de la maqueta digital industrial cambiaba, suponía tener que volver a realizar el proceso de preparación de la
maqueta digital para crear las instrucciones técnicas.
Para abordar esa deficiencia, en 2012 Airbus lanzó el proyecto CALIPSOneo, donde uno de sus objetivos era
hallar un método para generar las ITs de un modo automatizado, con el objeto de evitar los procesos de
preparación repetitivos de poco valor añadido. CALIPSOneo se organizó en tres partes o subproyectos:
PROTEUS, MARS y ELARA [10]. PROTEUS, cuyo objetivo era mejorar la creación de la iDMU o maqueta
digital industrial. Basado en los resultados de PROTEUS, el subproyecto MARS, se enfocó en crear la
informacion de las intrucciones técnicas de montaje. Esta información sería preparada para mostrarse en 2D, 3D
o mediante realidad aumentada. El subproyecto ELARA se centró en la preparación y despliegue de la
información de montaje (ITs) utilizando Realidad Aumentada (RA).

2. La maqueta digital industrial (iDMU).

El concepto de maqueta digital industrial (iDMU) que se maneja en Airbus consiste en reunir en un único
entorno virtual una maqueta digital que contenga toda la información que se genera y utiliza en el diseño de una
aeroestructura. Esta iDMU maneja la estructura PPR (procesos, producto y recursos): contiene la maqueta digital
del producto, la del utillaje, la definición de los procesos de montaje y las relaciones que se generan entre cada
una de estas tres [4]-[5] .
En CALIPSOneo se ha demostrado la validez del uso de la iDMU como herramienta fundamental para la
ingeniería de procesos. Basada en una estructura de Procesos, Producto, Recursos y generada desde un entorno
único 3D, fue posible industrializar un producto diseñando los procesos, simulándolos y validándolos
virtualmente previo a su implementación en el taller [10].

Figura 1: Entorno de creación de la iDMU: Delmia DPM, DPE y Manufacturing Hub.

J. Servan, R. Arista, M. Oliva, F. Mas, J. Rios 3

La iDMU diseñada en CALIPSOneo se realizó utilizando productos de Dassault Systemes, concretamente

Delmia Process Engineer (DPE) que conforma el Manufacturing Hub o centro donde se almacena y gestiona la
información, y Delmia DPM que proporciona todos los elementos para trabajar en un entorno 3D. Estos dos
productos están intrínsecamente conectados permitiendo acceder a la información (metadatos, geometría 3D)
indistintamente desde cualquiera de ellos (ver Figura 1).
Toda la información referente a un proceso que ha sido diseñado y validado en la iDMU, está a disposición para
poder ser usado para posteriores tareas como la de la creación de las instrucciones técnicas de montaje (IT). Las
ITs son también preparadas en la iDMU añadiendo la información necesaria (tarea realizada en MARS) para que
el trabajo de montaje sea perfectamente interpretado por los operarios. La posterior generación de la instrucción
de montaje en cualquier formato (2D, 3D, realidad aumentada) se obtiene de forma automática.
Uno de los principales valores añadidos de la iDMU, es la reutilización de los elementos ya definidos (PPR,
simulaciones, equilibrado de recursos). Si uno de dichos elementos es modificado, este es reflejado
inmediatamente en la IT y tras una validación por el ingeniero, la generación de la nueva IT se obtiene con el
mínimo esfuerzo manteniéndose además una perfecta trazabilidad de dichos cambios (requisito fundamental en
la industria aeronáutica).
Todo este flujo descrito es aplicable para la obtención de una IT en papel, para representarla en una pantalla en
2D, 3D, o para la realidad aumentada como es en el caso utilizado en el proyecto ELARA.
El propósito de aplicar la realidad aumentada en un entorno industrial aeronáutico fue ya examinado y estudiado
en el proyecto MOON [8]. Este proyecto adolecía de un entorno de explotación de la iDMU donde poder
preparar el contenido para ser mostrado en el ejercicio de realidad aumentada. En ELARA, esta restricción ha
sido solventada al utilizar como entrada los resultados del subproyecto MARS, donde partiendo de la iDMU, se
han preparado los elementos necesarios (maqueta PPR, información de detalle para operarios) que sirven de base
como elementos de partida para contrastar con la realidad. Estos elementos son actualizados automáticamente si
en la maqueta digital cambia alguno de los componentes PPR. La Figura 2 se presenta un esquema de la relación
entre los distintos subproyectos que conforman la arquitectura del proyecto CALIPSOneo.

Figura 2: Arquitectura básica del proyecto CALIPSOneo – subproyectos: PROTEUS, MARS y ELARA.

3. ELARA: antecedentes - Proyecto MOON.

El proyecto MOON fue desarrollado en 2009 por Airbus Defense and Space, consistía en un demostrador
tecnológico de realidad aumentada para la zona de las carenas de tren de aterrizaje del Airbus A400M [8]. El
proyecto ha servido también para desarrollar una patente para mejorar el montaje de componentes utilizando
realidad aumentada [9]. La solución desarrollada en el proyecto MOON se componía de dos módulos
diferenciados:
• Un entorno de realidad aumentada que constaba de:
- Un sistema de posicionamiento y tracking basado en la utilización de marcadores fiduciales (Figura
3:). El sistema desarrollado empleaba un total de 9 marcadores, para cubrir la superficie completa
de la cuaderna. Estos controlaban el posicionamiento y tracking de la aplicación de realidad
aumentada y facilitan la predicción de los movimientos del operador.
- El propio sistema de realidad aumentada encargado de superponer un objeto virtual sobre una
imagen real.
Tecnologia de Realidad Aumentada aplicada a los procesos de montaje aeronauticos 4

Figura 3: Sistema con multimarcadores usado en el proyecto MOON.

• Modulo de gestión de la geometría.

En este modulo, partiendo de la geometría (formato 3DXML), previamente extraída de la maqueta
digital, se realizaba la conversión al formato openGL para que fuera usado por el modulo de realidad
aumentada.
A la vista de los resultados obtenidos en el proyecto, se extrajeron las siguientes conclusiones principales:
• La primera conclusión fue que se demostró la factibilidad de poder usar la realidad aumentada en un
entorno de producción de montajes aeronáuticos.
• Caben destacar algunos problemas que se identificaron en el demostrador:
Inconvenientes detectados con los marcadores fiduciales:
- Los marcadores estaban numerados y cada uno de ellos debía ser colocado en una posición concreta
en el avión. Para llevar a cabo la colocación de los marcadores había que generar un documento
indicando las posiciones definidas. Esto suponía mantener dos elementos, la información para la
realidad aumentada y el documento de posicionamiento para que el operario situara los marcadores.
- Fallos en el sistema de calibración debido al posicionamiento de los marcadores normalmente por
desplazarse o desprenderse como consecuencia de las tareas de montaje de otros componentes en
área anexas.
Inconvenientes debido a la transformación de formatos de la geometría:
- Se detecto que algunas piezas no eran convertidas de formato correctamente.
- Algunas piezas aparecían mal posicionadas en la representación 3D.
- El cambio de reléase de CATIA en Airbus Defense and Space supuso un cambio en la estructura
del formato 3DXML. Este cambio provocó que el módulo de conversión quedara obsoleto.

4. ELARA: motivación.
El proyecto ELARA fue concebido con el objeto de ser utilizado como soporte en la fabricación del Fancowl en
el programa A320Neo. Dicha fabricación se realiza actualmente en la factoría de Airbus Defense and Space en el
Centro Bahía de Cádiz. Los FanCowl de A320Neo tienen una cadencia de producción muy elevada,
aproximadamente cinco unidades diarias. Durante el proceso de montaje, las unidades van pasando por
estaciones de montaje en las que se van integrando cada uno de los componentes para dar lugar a un Fancowl
totalmente equipado al final de la línea.
J. Servan, R. Arista, M. Oliva, F. Mas, J. Rios 5

Teniendo en cuenta las consideraciones anteriores, se identificaron los siguientes requisitos funcionales para el
proyecto ELARA:
• Explotación de la iDMU. Como ya se ha explicado en párrafos anteriores, ELARA reutiliza la
información proveniente de la iDMU que ha sido previamente preparada desde el proyecto MARS.
• Eliminación de conversión de geometría. En MARS, se prepara la maqueta digital industrial para
extraer los modelos en formato 3DXML. Para evitar sucesivas conversiones a otros formatos necesarios
para aplicaciones de realidad aumentada, se seleccionó la herramienta 3DVIA Studio. Esta herramienta
es un producto comercial de Dassault Systemes, especialmente pensada para el desarrollo de
aplicaciones de realidad virtual y realidad aumentada.
• Solventar problemas por cambios de release de CATIA. 3DVIA Studio garantiza poder usar de forma
directa y sin conversiones intermedias, ficheros 3DXML generados desde cualquier actualización de
CATIA y DELMIA, tanto en versión v5 como en versión v6.
• Sistema sin marcadores. Como consecuencia de las conclusiones del demostrador MOON, se opto por
desarrollar un sistema sin marcadores fiduciales. Esta opción ya está investigando también en otros
entornos de montaje, donde se propone la utilización de marcadores naturales [11].
Dentro de este tipo de soluciones, se analizaron tecnologías que embebían sensores inerciales, pero
estos no garantizaban la precisión requerida, y las tecnologías de visión por computador, que fue
finalmente seleccionada, puesto que no es intrusiva y ofrece la posibilidad de poder expandir su
aplicación a otros entornos como la verificación automatizada.

5. ELARA: solución técnica.

A la vista de los requisitos funcionales, se ha diseñado una solución de visión por computador que integra los
siguientes módulos:

Figura 4: Esquema de la estructura de la solución ELARA y su funcionamiento

5.1. Módulo de preparación de contenidos integrado en MARS. ELARA Content.

La preparación de contenidos consiste en la extracción de información directamente desde la iDMU, incluyendo
información 3D así como información de consulta, no proyectada (normas o procedimientos). Toda esta
información es usada posteriormente por el modulo de realidad aumentada.
El modulo se desarrolló en 3DVIA Studio y se integró en MARS. Mediante una interfaz gráfica sencilla el
sistema permite seleccionar directamente sobre la iDMU:
• Geometría de referencia. La pieza que se utiliza como marcador natural en el proceso manual de
posicionamiento inicial (matching).
Tecnologia de Realidad Aumentada aplicada a los procesos de montaje aeronauticos 6

• Geometría a proyectar. Información virtual que es mostrada como realidad aumentada. Estas son las
piezas que el operador debe montar o verificar en el proceso.
• Información adicional. Normas, procedimientos o información no proyectada relevante para en el
proceso de montaje o verificación y que el operario puede consultar.

5.2. Módulo de tracking por visión. Computer Vision Module.

El sistema posibilita, una vez realizado el posicionamiento manual, mantener calibrado el sistema de realidad
aumentada en todo momento, utilizando para ello técnicas de seguimientos de objetos por visión artificial. El
sistema es capaz de realizar el seguimiento de la pieza seleccionada como referencia (tracking).
Fueron varias las técnicas con las que se experimentó durante la fase de análisis del proyecto para el seguimiento
de objetos, como la detección de bordes, puntos característicos y uniones. En la Tabla 1: se presenta un resumen
de resultados para un ejemplo concreto de una sección del avión A320.
Tabla 1: Número de características visuales y coste computacional para una vista global y cercana de la sección
18 del avión A320. Resultados para imágenes de 640x480 y un Intel Core i7-860 a 2.8GHz y 3GB RAM.
Técnica Utilizada Vista Global Vista Cercana Resultados

N/A

Detección de Vista Global

bordes 4,27 ms
(Detector Canny) Vista Cercana
3,77 ms

Vista Global
4,26 ms
Detección de
puntos 1527 puntos
característicos
Vista Cercana
(Detector Fast)
2,58 ms
360 puntos

Vista Global
97,87 ms
Detector de
1072 uniones
uniones
Vista Cercana
(Detector Judoca)
49,37 ms
274 uniones
J. Servan, R. Arista, M. Oliva, F. Mas, J. Rios 7

Finalmente se opto por la utilización de la técnica basada en la detección de puntos característicos utilizando el
detector Fast, por ser la que mayor número de características visuales proporcionaba en relación al coste
computacional requerido. El detector fue desarrollado exclusivamente para el proyecto utilizando la biblioteca de
visión artificial OpenCV.

5.3. Modulo de realidad aumentada. ELARA.

Desarrollado íntegramente en 3DVIA Studio y fundamentado en un posicionamiento manual, y un tracking por
visión, este modulo descomprime la información generada proveniente del modulo de preparación de contenidos,
para mostrarla en formato de realidad aumentada.
El sistema permite también la consulta de otro tipo de información no proyectada, sin la necesidad abandonar la
aplicación. Como característica adicional, permite guardar información relativa a las posibles incidencias de
producción en el fichero 3DXML, pudiendo ser recogido posteriormente en los sistemas PLM.

6. ELARA: pruebas en taller.

La parte final del proyecto se dedicó a la realización de las pruebas de validación de la solución diseñada.
Durante el desarrollo de las pruebas se testeó el funcionamiento de cada módulo por separado, así como de la
solución integrada.
Para la comprobación del correcto funcionamiento del modulo de preparación de contenidos, se partió de la
iDMU, se preparó en MARS la información, relativa al proceso, que iba a ser mostrada por la aplicación de
realidad aumentada, así como información adicional de consulta para los operarios.
El modulo de visión demostró que era capaz de realizar el seguimiento de las piezas seleccionadas como
referencia (ver Figura 5:). Se advirtió que cuando el modelo de aeroestructura era muy homogéneo, era necesario
añadir algún elemento a la escena con el objeto de aumentar el número de puntos característicos (Figura 5:).
Para la realización de las pruebas, fue usada la tableta Asus Transformer Book TX300CA con un procesador
Intel Core™ i7-3517U, 4GB de RAM y un procesador grafico integrado Intel® HD 4000. Se detectó que el
sistema requería de una importante capacidad de procesamiento.

(a) (b)

Figura 5: (a) Posicionamiento utilizando herraje de giro del FanCowl como geometría de referencia. (b)
Tracking aportando elemento a la escena para mejorar las características visuales
Las pruebas permitieron comprobar que la integración entre el Módulo de Generación de Contenidos y el
Modulo de Realidad Aumentada funcionó correctamente. El Modulo de RA fue capaz de interpretar la
información de montaje proveniente del modulo de preparación y mostrarla en realidad aumentada. No obstante,
se produjeron grandes dificultades para integrar las librerías de desarrollo SDK de 3DVIA Studio con las
librerías de OpenCV, lo cual imposibilitó que el modulo de tracking funcionara con total corrección.

7. Conclusiones.
La primera conclusión está relacionada con la explotación de la maqueta digital industrial (iDMU). La
utilización de herramientas tales como 3DVIA Studio, desarrolladas por fabricantes de sistemas PLM, posibilitan
la reutilización de la información 3D contenida en la iDMU por parte de otros sistemas aguas abajo, evitando así
problemas relacionados con traducción de modelos a formatos intermedios y facilitando la utilización de nuevas
tecnologías tales como la realidad aumentada.
Tecnologia de Realidad Aumentada aplicada a los procesos de montaje aeronauticos 8

A pesar ciertos problemas de integración de algunas librerías de desarrollo, los resultados confirman que los
sistemas de realidad aumentada basados en métodos de visión, son muy recomendables a día de hoy para la
identificación y seguimiento de piezas y abren una puerta a su utilización en otras labores tales como la
verificación industrial automatizada. No obstante, se ha observado que se requiere una potencia de cálculo
importante y que presentan limitaciones cuando nos encontramos con elementos muy homogéneos que posean
pocas características visuales. Las tabletas industriales del mercado tienen unas capacidades muy limitadas en
este aspecto, lo que invita al uso de una combinación de estos con estaciones de trabajo con altas capacidades
gráficas y de cálculo, en un sistema de comunicaciones basado en una arquitectura cliente servidor
Finalmente, resaltar que el desarrollo de aplicaciones de realidad aumentada basadas en herramientas PLM, que
requieren de la integración de librerías y entornos de desarrollo de distintas soluciones, poseen una complejidad
importante, añadiendo un riesgo a tener en cuenta en la fase de definición de este tipo de proyectos.

8. Referencias.
[1] A.Y.C. Nee et al., Augmented reality applications in design and manufacturing. CIRP Annals –
Manufacturing Technology, 61, (2012), 657-679.
[2] G. Reinhart, C. Patron, Integrating Augmented Reality in the Assembly Domain – Fundamentals, Benefits
and Applications, CIRP Annals – Manufacturing Technology, 52:1, (2003), 5-8.
[3] J. Sääski et al., Integration of Design and Assembly Using Augmented Reality, IFIP - Micro-Assembly
Technologies and Applications, 260, (2008), 395-404.
[4] J. L. Menéndez, F. Mas, J. Serván, J. Ríos, Virtual verification of the Airbus A400M final assembly line
industrialization, The Manufacturing Engineering Society International Conference, MESIC 2011, AIP
Conf. Proc. 1431, (2012), 641-648.
[5] J.L. Menéndez, F. Mas, J. Serván, R. Arista, J. Ríos. Implementation of the iDMU for an aerostructure
industrialization in AIRBUS. The Manufacturing Engineering Society International Conference, MESIC
2013, Procedia Engineering, 63, (2013), 327-335.
[6] D. Borro, J. Serván, J.M. Cordero, J.R. Sanchez, F. Mas, L. Matey, Hands-free Wearable Guided System
for Assembly Tasks in Aerospace Industry, Revista DYNA, Ingeniería e Industria, 86:3, (2011), 328-335.
[7] J. Serván, M. Oliva, F. Mas, J. Ríos, Proyección laser como soporte al proceso de montaje del ala del
Airbus A400M, XIX Congreso Nacional de Ingeniería Mecánica, Castellón, Spain (2012).
[8] J. Serván, F. Mas, J.L. Menéndez, J. Ríos, Assembly Work Instruction Deployment using Augmented
Reality, Key Engineering Materials, 502, (2012), 25-30.
[9] F. Mas, J. Serván. Method and system for assembling components. European Patent 10382187.2-1522. July
2010. United States Patent 12/898,870. October 2010.
[10] M. Oliva, F. Mas, J. Ríos, V. Olmos, A. Gómez. Soluciones avanzadas para la industrializacion de
montajes aeronauticos complejos: el proyecto CALIPSOneo. Presented to XX Congreso Nacional de
Ingeniería Mecánica: Malaga 2014. España.
[11] R. Radkowski, J. Oliver, Natural Feature Tracking Augmented Reality for On-Site Assembly Assistance
Systems, VAMR/HCII 2013, Part II, (2013), 281-290.