928

Signal Processing: Image Communication 20 (2005) 927–946

www.elsevier.com/locate/image

intGuide: Una plataforma para servicios contextuales con

realidad aumentada, basada en los resultados de los
Proyectos de Investigación Europeos
Athanasios M. Demiris×, Vassilios Vlahakis, Alexandra
Makri, Manos Papaioannou, Nicolaos Ioannidis
INTRACOM S.A., Hellenic Telecommunications and Electronics Industry, Greece
Received 11 October 2004; accepted 15 May 2005

Abstracto

A medida que las personas se familiarizan cada vez más con la tecnología de la información, exigen una continua
disponibilidad de servicios relacionados con su trabajo u ocio. La era de la computación omnipresente anunciada
hace mucho tiempo se está convirtiendo en una realidad cotidiana a un ritmo cada vez mayor. Junto a la evolución de
la computación omnipresente y nómada, la necesidad de las personas de acceder a grandes cantidades de
información de manera exhaustiva y eficiente da lugar a las áreas de visualización de la información y de realidad
aumentada. Tales tecnologías permiten la presentación integral de la información visual dirigida igualmente a las
necesidades de las diferentes categorías de personas.
En los últimos 5 años hemos estado activos en un conjunto de proyectos de investigación europeos que abordan las
direcciones de investigación antes mencionadas, con el objetivo a largo plazo de desarrollar una plataforma de
software que permitirá a los servicios conscientes del contexto implementar tecnología avanzada de visualización en
una serie de los ámbitos de aplicación, como la difusión del patrimonio cultural, la televisión interactiva y la
industria minorista. La multitud de los ámbitos de aplicación abordados, así como la experiencia multidisciplinaria
necesaria para crear una plataforma genérica se abordaron con éxito en actividades de investigación
complementarias. En este artículo presentamos la idea de una plataforma para los servicios sensibles al contexto
mediante la explotación de la tecnología de visualización avanzada y posteriormente analizamos brevemente los
proyectos de investigación que entregaron piezas valiosas en el rompecabezas global. Se pone énfasis en las
cuestiones prácticas de la implementación y despliegue en diferentes escenarios de aplicación.

Abreviaturas: API, interfaz de programadores de aplicaciones; AR, realidad aumentada; CDWA, categorías para la
descripción de obras de arte; CIDOC, Comité Internacional de Documentación del Consejo Internacional de
Museos; DVB, difusión de vídeo digital; FFT, transformada rápida de Fourier; SIG, sistema de información
geográfica; GPS / D-GPS, sistema de posicionamiento global / sistema de posicionamiento global diferencial;
GPRS, servicio general de radio por paquetes; IEEE, Instituto de Ingenieros Eléctricos y Electrónicos; IST,
Tecnologías de la Sociedad de la Información; LAN, red de área local; MPEG, grupo de expertos en imágenes en
movimiento; PDA, asistente digital portátil; R / F, radiofrecuencia; SMIL, lenguaje de integración multimedia
sincronizada; UMTS, sistema universal de telecomunicaciones móviles; VRML, lenguaje de marcado de realidad
virtual; WLAN, red de área local inalámbrica; XML, lenguaje de marcado ampliado; XMT, MPEG-4 extensible
formato textual

Keywords: Context-aware services; Ubiquitous computing; Augmented-reality; Nomadic devices; Computer vision applications
1. Introducción
Cada plataforma de software más grande y de
alguna manera compleja requiere generalmente un
sistema de aplicaciones concretas que cubren
partes del dominio apuntado antes de que pueda
materializarse. La razón de ello es el know-how
necesario, que se refleja en detalles que harán que
la plataforma sea utilizable en muchas áreas.
Cuantas más aplicaciones se construyan antes de
construir una plataforma genérica, más genérica
será la plataforma. Sin embargo, siempre hay un
equilibrio entre el grado de generalidad y el tiempo
de lanzamiento al mercado, que dictan un ritmo
más rápido en la introducción de una plataforma en
el mercado.
En nuestro caso, estábamos tratando de desarrollar
una plataforma genérica de entrega, lo que
llamamos hace aproximadamente 5 años '' servicios
de alta calidad visualmente mejorados ''. Los
servicios de gama alta estarían relacionados con la
entrega de información en función de la ubicación
actual y del per fi l personal del usuario final. Esta
meta evolucionó en los últimos años hacia una
plataforma más concreta para servicios sensibles al
contexto con tecnología avanzada de visualización.
El objetivo sigue siendo el mismo, es decir, la
entrega de información a los usuarios finales en un
formato visual fácil de comprender, dependiendo
del contexto de los usuarios.
Nuestra estrategia para recabar la experiencia
necesaria en relación con los servicios sensibles al
contexto y reunir la experiencia de aplicar dichos
servicios en diferentes ámbitos de aplicación,
verificando así la validez de nuestras orientaciones
de investigación y desarrollo, centradas en
colaboraciones con institutos y otras empresas
dentro de Europa con intereses de investigación
similares, en el marco de los proyectos europeos de
investigación, principalmente en el programa IST
(Tecnologías de la Sociedad de la Información) de
la Comisión Europea. Los proyectos fueron
cuidadosamente definidos para complementarse y
ofrecer siempre un nuevo aspecto necesario para
completar el rompecabezas. Con el fin de evitar
una diversificación extrema, los ámbitos de
aplicación se limitaron a los tres siguientes:
aplicaciones en el patrimonio cultural, el deporte y
la televisión interactiva, así como la industria
minorista. Está claro que el único denominador
común de todas estas áreas de aplicación es el
perfil genérico de los usuarios finales, es decir, en
todos estos dominios de aplicación, los usuarios
finales se originan a partir de una muestra
ampliamente difundida a través de la población. La
929
selección de estos dominios se basó principalmente
en los intereses de los equipos involucrados en el
proceso de desarrollo, y también exhibió la
importante característica comercial de la difusión a
través de segmentos de mercado vivos.
Para implementar tal plataforma, son necesarias
diferentes áreas de experiencia. A diferencia de otros
intentos similares, en nuestro caso nos centramos en
los aspectos relacionados con la presentación
visualmente mejorada de la información, lo que
introduce la necesidad de incluir la tecnología de
visión por computadora en el marco general. En este
trabajo, presentaremos todas las características
abordadas por la plataforma, así como su
arquitectura. Nos centraremos en los aspectos más
importantes (principalmente relacionados con las
aplicaciones mejoradas de visualización) en cada
uno de los proyectos de investigación que
proporcionaron conocimientos técnicos en diferentes
partes de la plataforma general. Al final
concluiremos con el futuro trabajo planeado para
ampliar aún más la plataforma intGuide.
2. Estado de la técnica en los sistemas sensibles al
contexto
La informática contextual es un campo emergente.
Sin embargo, ya existen algunos sistemas
comerciales que aparecen en el mercado. Un
ejemplo, que resulta ser el resultado de una actividad
de investigación europea, se presenta en [1]. El
objetivo principal y la principal diferencia con
nuestro enfoque son la creación de un marco
genérico para los servicios sensibles al contexto en la
plataforma del cliente con el enfoque en el manejo
de varias entradas de sensores, así como la
vinculación de estos sensores a eventos. En nuestro
caso, nos centramos en la infraestructura de back-
office para apoyar y publicar los servicios sensibles
al contexto, mientras que en el lado del cliente
asumimos un conjunto reducido de sensores (sistema
de posicionamiento global / sistema de
posicionamiento global diferencial (GPS / D-GPS ),
posiblemente un sistema de posicionamiento de red
de área local inalámbrica (WLAN), así como
sensores adicionales para una mayor precisión en la
detección de localización, como radiofrecuencia (R /
F) y etiquetas Bluetooth y / o sensores de
infrarrojos).
Un enfoque que se parece más a la plataforma
intGuide en la dirección de una solución de back-
office sólida y completa es el presentado en [2].
Aparte del carácter más genérico en el manejo de
sensores para la estimación de contexto (como en el
caso anterior), el objetivo principal aquí es la
creación de componente-ware, ofreciendo una
posibilidad de integración de menor nivel. intGuide
es mucho más una plataforma para ser
personalizado usando principalmente las
herramientas proporcionadas, y restringiendo el
acceso sobre la interfaz de un programador de
aplicaciones (API). La diferencia es una vez más el
carácter más práctico de intGuide, que hace
algunas suposiciones simplificadoras, reduciendo
así los grados de libertad, y permite principalmente
la personalización. Sin embargo, a la comprensión
de los autores la arquitectura presentada en [2] sólo
puede cubrir parcialmente la funcionalidad de
intGuide y no aborda algunas de las cuestiones
prácticas cubiertas dentro de intGuide.
En [3,4], una muy buena visión general de las
aplicaciones de contexto se puede encontrar.
Especialmente en el caso de [4], el área de
aplicación inicial para el servicio consciente del
contexto, el hogar inteligente, se presenta con todo
detalle. Un dominio importante de la aplicación
enredado por la investigación en sistemas sensibles
al contexto es el patrimonio cultural. Dado que
algunos de los antecedentes presentados aquí
también son originarios de este dominio,
comparamos nuestros esfuerzos con una selección
indicativa de trabajos de investigación
comparables. En [5], se introduce el proyecto
GUIDE. GUIDE está creando un sistema de apoyo
y guía electrónico metropolitano para turistas, que
publica contenido multimedia y ofrece servicios
interactivos a los visitantes de la ciudad de
Lancaster. El trabajo de [5] contiene valiosos
conocimientos sobre una evaluación experta del
uso del sistema. El sistema GUIDE es un caso
especializado de una guía metropolitana electrónica
centrada en los aspectos de usabilidad y orientación
por medio de la información contextual. Nuestro
enfoque difiere en que nos centramos también en la
visualización avanzada de la información y
finalmente nos esforzamos por una plataforma más
genérica. Similar al sistema GUIDE es el proyecto
onTheMove, que también proporciona una guía de
la ciudad y cuenta con soporte GPS y WLAN, tal
como se presenta en [6]. Un intento similar por el
Instituto de Tecnología de Georgia se puede
encontrar en [7]. En este último, el enfoque se
centra en la conciencia del contexto, con
similitudes con nuestro trabajo, principalmente la
posición y la orientación del usuario.
No se evalúa la conmemoración de las acciones e
intereses de los usuarios.
Un enfoque más cercano a algunas de las versiones
que presentamos aquí se encuentra en [8]. El
930
enfoque en el lado del cliente, es decir, la guía móvil,
está en la presentación multimedia y visual de la
información. El artículo se centra en un ambiente de
museo de interior y presenta muchos conceptos de
interacción interesantes que se asemejan a los
presentados en nuestro trabajo.
En [9] se sigue un enfoque alternativo en el entorno
del museo, donde la información no es móvil, sino
presentada a los visitantes en función de su posición
y gestos (en la evaluación del sistema de visitantes
jóvenes).
El enfoque en la usabilidad y varios medios de
interactuar con las guías electrónicas en los museos y
las instituciones de memoria se presentan en varios
casos en [10, 11]. Rocchi et al. [12] también se
enfocan en el concepto de publicación multi-
plataforma implementando múltiples tipos de
clientes.
Se pueden encontrar lecturas más genéricas
relacionadas con los servicios sensibles al contexto
en [13,14], donde también se encuentran muy buenas
definiciones del término contexto. Problemas de
usabilidad adicionales en el reino de guías turísticos
se pueden encontrar en [15, 16].
3. La hoja de ruta para la plataforma intGuide
Una plataforma que permite la configuración y
entrega de servicios sensibles al contexto con técnicas
avanzadas de visualización requiere un conjunto de
módulos confiables que se pueden adaptar fácilmente
a las necesidades de varios proveedores de servicios
de aplicaciones y abordar un amplio espectro de
funcionalidad. En la Fig. 1, presentamos un intento de
mostrar todos estos diferentes tipos de funcionalidad
que comprenden la plataforma intGuide. Están
separadas en infraestructura de back-office y
funcionalidad de cliente.
Como se ve en la siguiente figura, una plataforma para
los servicios visualmente mejorados que tengan en
cuenta el contexto necesita tener un "punto de
entrada" para que el contenido entre en la plataforma.
Por esta razón, existe la necesidad de servicios de
digitalización. Aunque hemos enredado este aspecto
en algunos proyectos, decidimos evitar ofrecer una
solución completa para la digitalización, ya que hay
muchas soluciones disponibles en el mercado. En
colaboración con clientes potenciales, la solución más
adecuada puede ser seleccionada y fácilmente
incorporada en el marco general.
Un sistema de gestión de activos es necesario para
administrar el contenido que se rellenará en los
dispositivos cliente después de la finalización del
proceso de creación. Nuestra solución se centra en
un sistema de gestión central que contiene y gestiona
datos multimedia utilizando una estructura de
descripción compatible con el grupo de expertos en
imágenes en movimiento (MPEG) -7. Encima de
este núcleo hay un módulo especializado que
describe los datos en una manera orientada a la
aplicación. Por lo tanto, en el caso del patrimonio
cultural, hay un módulo que apoya la descripción de
las representaciones multimedia de artefactos en
Dublin Core, el Comité Internacional de
Documentación del Consejo Internacional de
Museos (CIDOC) o las categorías para la
descripción de obras de arte (CDWA). El sistema
central se desarrolló en el marco del proyecto de
investigación de la experiencia de televisión
deportiva inmersiva personalizada (PISTE) (por
INTRACOM y la Universidad de Poznan de
Economía) [17] y extensiones especializadas para el
patrimonio cultural dentro del patrimonio cultural de
realidad aumentada in situ guía (ARCHEOGUIDE)
(por INTRACOM) [18]. ARCHEOGUIDE del
proyecto europeo IST y PISTE, también un
European IST Research Project.
En todos los casos de aplicación investigados, hubo
una clara necesidad de autorizar el contenido antes
de su publicación en dispositivos cliente.
Especialmente en los casos en los que el contenido
debe presentarse de una manera de realidad mixta,
es decir, objetos artificiales superpuestos a imágenes
de entorno real, este procesamiento se hace
inevitable. Este procesamiento fue en la mayoría de
los casos llevado a cabo por personas diferentes, ya
sea simultáneamente, o en diferentes instantes. El
control de este autor fue significativamente
mejorado con la introducción de un módulo de
control de flujo de trabajo. Permitió el control de
varias tareas necesarias para crear el resultado
deseado y siempre entregó una visión precisa del
desglose de la tarea y el estado del proceso.
La creación es un proceso que depende en gran
medida del dominio de la aplicación. No obstante,
en el caso de los archivos multimedia, suele ser el
multiplexado de varios archivos en una presentación
para un contexto dado, permitiendo anotaciones
específicas que permiten la personalización del
contenido. Hemos aislado un núcleo común de todos
nuestros esfuerzos, que es un editor de lenguaje de
integración multimedia sincronizado (SMIL), que
permite la creación de presentaciones multimedia a
través de una línea de tiempo. SMIL puede
931
convertirse fácilmente en otras representaciones,
como el formato de texto MPEG-4 extensible (XMT)
-O de MPEG-4 que están relacionados. Otros
formatos que apoyan directa o indirectamente de
alguna manera la noción de líneas de tiempo (como
XMT-A, lenguaje de marcado de realidad virtual
(VRML), etc.) también pueden ser abordados por
mecanismos de conversión. Para esta conversión es
necesario tener en cuenta algunas simplificaciones y
tener en cuenta que en la mayoría de los casos el
poder expresivo completo de la representación
objetivo puede no ser explotado de manera eficiente.
Incluso después de la introducción de elementos
personalizados que contienen información adicional
para permitir una traducción más eficiente a otros
formatos, todavía no es posible abordar todas las
características ofrecidas por una representación
diferente.
Sin embargo, nos hemos dado cuenta de que para la
mayoría de las aplicaciones es suficiente introducir
una funcionalidad de tipo SMIL para las
presentaciones. La extensión más importante para la
autoría contextual es la descripción espacial. Por lo
tanto, en un nivel de abstracción más alto, es
necesario introducir información que ayude a situar el
archivo multimedia en un área geográfica, y en casos
de aplicación de realidad aumentada (AR) también en
el punto de vista correcto. La interpretación de la
descripción de SMIL depende del software del cliente.
Por ejemplo, una serie de imágenes que sirven como
imágenes de referencia para el cálculo del punto de
vista correcto del usuario cuando se comparan con la
vista actual necesitan ser etiquetadas separadamente
en un archivo SMIL, ya que no hay ninguna
construcción que soporte tal noción.
Esto puede ser una violación del propósito inicial del
lenguaje SMIL, pero parece ser la única manera de
crear un entorno de creación que también se ocupará
de las necesidades de un curador del museo de crear
presentaciones multimedia sencillas para los visitantes
que utilizan asistentes digitales portátiles (PDA) para
visitar el sitio y el proveedor de servicios de
aplicación que ofrece vistas ampliadas de habitaciones
vacías con muebles pre-seleccionados.
La conciencia contextual implica que el contenido
presentado tendrá en cuenta el perfil del usuario. Para
ello, hemos introducido la posibilidad de crear perfiles
de usuarios y luego tener una personalización
dinámica del contenido basado en estos perfiles. En la
versión actual de la plataforma, sólo soportamos la
filtración simple de perfiles para hacer las
adaptaciones necesarias de contenido y requiéramos
que el usuario cree una descripción de perfil antes
del funcionamiento del componente de
personalización. Esta funcionalidad necesita ser
mejorada para la creación de servicios menos
intrusivos e interrogativos. Los principales trabajos
de personalización se llevaron a cabo en el marco de
ARCHOE-GUIDE, PISTE, LIFEPLUS [19] y multi-
platforma de e-publishing para el ocio y la
publicidad interactiva deportiva (MELISA) [20] el
trabajo relacionado con la personalización fue
realizado por INTRACOM).
Por lo general, los servicios conscientes del contexto
implican que los usuarios exhiban un
comportamiento nómada. Este hecho de nuevo
puede significar que hay un conjunto de dispositivos
diferentes para apoyar. En los últimos años y en el
contexto de los proyectos de investigación que
seguimos, apoyamos las siguientes plataformas:
-Varias versiones de PDAs.
-Web-almohadillas (hemos desarrollado
adicionalmente web-pads con adiciones de hardware
para crear una plataforma de cliente, que llamamos
el '' smart book '', como se describe a continuación).
-Custom-sub-portátiles con el equipo necesario para
crear clientes AR (los llamados clientes de grasa).
-Los dispositivos de reproducción con restricciones
de recursos, tales como decodificadores de
televisión interactivos.
- Navegadores web convencionales.
Todas las plataformas anteriores presentan
características completamente diferentes y en los casos de dispositivos distribuidos a los usuarios
capacidades de reproducción. Con el fin de poder
convertir una presentación creada para una de estas
plataformas a cualquiera de las otras, se requiere un
proceso complejo. Hemos decidido apoyar la
función de publicación multi-plataforma sólo para
contenido que tiene un carácter no en tiempo real.
Durante la creación, existe la posibilidad de
seleccionar un perfil de dispositivo para ser
soportado. Cada perfil de dispositivo contiene las
características de los principales tipos de multimedia
y permite la adaptación del contenido, según lo
permita cada plataforma. Hemos estado
experimentando con plataformas AR personalizadas
en el marco de los proyectos ARCHEOGUIDE,
ARIS [21] y LIFEPLUS, mientras que los PDAs han
sido uno de los dispositivos de destino de
ARCHEOGUIDE, MELISA, LIFEPLUS y de
localización los servicios ubicuos mejorados
visualmente (LoVEUS) [22] (ARIS del proyecto
europeo y LoVEUS del proyecto europeo IST). En
el marco de los proyectos PISTE y MELISA
trabajamos con decodificadores interactivos
habilitados para MPEG-4 (MELISA del European932 IST
Research Project). El proyecto LoVEUS apoyó la
próxima generación de teléfonos móviles. El concepto
de smart-book fue concebido dentro del marco del
proyecto ARCHE-OGUIDE.
Los servicios orientados al contexto son mejorados
por la introducción de componentes colaborativos.
Dicha funcionalidad permite la experiencia
compartida en el sitio o la comunicación con usuarios
remotos. Esto puede suceder por una serie de razones,
como la transmisión de mensajes desde un punto
centralizado a los dispositivos cliente, el intercambio
de mensajes entre varios dispositivos cliente y en el
caso de aplicaciones AR, una experiencia de grupo
para muchos usuarios, nuevamente en el sitio. El
proyecto que más abordaba el aspecto colaborativo
era ARIS. En el marco de PISTE, experimentamos
con el prototipo de grupo en el caso de la televisión
interactiva, un medio designado para múltiples
usuarios simultáneos. Sin embargo, este tipo de
colaboración / personalización de grupos aún no ha
encontrado su camino a la plataforma intGuide.
Durante nuestra primera aplicación comercial de la
plataforma intGuide en el contexto de los museos y
sitios arqueológicos, nos enfrentamos a un conjunto
de problemas prácticos cotidianos que nunca fueron
obvios en el marco de los prototipos de prueba de
concepto, Proyectos de investigación europeos. Tales
problemas tenían que ver con la monitorización de los
usuarios del contenido, la suficiencia de las baterías
finales in situ, p. PDAs en un museo, robustez de las
plataformas de cliente, mantenimiento de los
dispositivos, registro y cancelación de registro de
usuarios que toman prestado dispositivos cliente y
muchos más. Con el fin de poder abordar estas
cuestiones, se introdujo un conjunto de herramientas
para el seguimiento del inventario, es decir, los
dispositivos que se prestan por los visitantes de un
sitio.
En las secciones siguientes, presentaremos
brevemente cada una de las actividades de
investigación mencionadas aquí, agrupadas según el
dominio de la aplicación y resaltaremos los aspectos
que juzgamos especialmente importantes para ser
incluidos en la plataforma intGuide. Concluiremos
con la presentación de la arquitectura intGuide
emergente
 933

Fig. 1. La paleta de las diferentes áreas de experiencia necesarias para desarrollar una plataforma de software que proporciona servicios
sensibles al contexto. En el lado izquierdo de la figura, las casillas blancas representan el conocimiento necesario para establecer la
infraestructura de back-office con el proveedor de servicios de aplicación, mientras que las casillas oscuras en el lado derecho representan los
conocimientos necesarios para establecer servicios contextuales con visualización avanzada en las plataformas cliente. Las cajas mixtas
representan el conocimiento necesario tanto para el back-office como para los clientes.

implementar el servicio utilizando sus propios

4. Uso y usuarios de la plataforma intGuide
Al desarrollar una plataforma siempre se tiene en
mente un grupo objetivo. intGuide se desarrolló
teniendo en mente tres grandes grupos de usuarios
objetivo: en primer lugar, los operadores de redes
móviles que buscan nuevos servicios atractivos
para ofrecer a su clientela; en segundo lugar, los
proveedores de servicios de aplicación dedicados y
los operadores del servicio (estos dos grupos
pueden complementarse en muchos casos); y
finalmente, los propietarios de contenidos, que
desean agregar valor a la difusión de su contenido.
En este último grupo, se podrían imaginar grandes
museos u otras grandes organizaciones de
memoria, dispuestos a invertir en una plataforma
para la mejor y más atractiva difusión de sus
activos.
En términos de factibilidad, es más probable que
los grupos primero y último empiecen a utilizar la
plataforma primero. Esperamos que principalmente
los principales sitios culturales comiencen a
recursos para hacerlo y solicitando servicios de
consultoría ocasionales. Existen ya varios sitios que
han expresado el interés definido por instalar y
desplegar servicios sensibles al contexto mediante la
plataforma intGuide.
En red móvil paralela, los operadores ya están
buscando soluciones avanzadas para crear nuevos
flujos de ingresos. A largo plazo, esperamos que las
organizaciones más pequeñas surjan en el papel de
proveedores de servicios de aplicaciones, invirtiendo
en la plataforma intGuide y ofreciendo la solución
contextual como un servicio a los clientes
interesados.
Dichos clientes provendrán de los grupos antes
mencionados, pero pertenecerán a las partes
interesadas financieramente más débiles.
Por último, es importante mencionar que el éxito de la
plataforma intGuide depende en gran medida de las
implementaciones de ejemplo del servicio. Para ello
una parte del equipo de desarrollo se dedica a
desarrollar soluciones para los usuarios finales de los
clientes potenciales de intGuide. Su trabajo está
dirigido al desarrollo de soluciones para plataformas
de clientes que serán utilizadas por los usuarios
finales. Este trabajo se inició en el marco de los
Proyectos de Investigación Europeos y será el
enfoque principal de la presente publicación.
5. Conciencia de contexto y realidad aumentada
en el patrimonio cultural: ARCHEOGUIDE,
LIFEPLUS y LoVEUS
Los sitios del patrimonio cultural parecen ser uno
de los campos de aplicación más obvios para la
introducción de dispositivos nómadas con
capacidades avanzadas de visualización. A partir
de su aparición en exposiciones, museos y sitios
arqueológicos, se amplió el desarrollo de sus
predecesores, es decir, guías acústicas y
dispositivos multimedia, proporcionando a los
visitantes un conjunto de información
audiovisual de fácil acceso. Ofrecen grandes
ventajas sobre las guías acústicas existentes y
folletos relacionados con los sitios, como el
atractivo de la presentación, la riqueza de los
medios de expresión para los curadores del
museo y la emoción a través de la interactividad
que ofrecen una ventaja competitiva significativa
a las instituciones culturales.
Antes de la introducción de tales soluciones en el
ámbito de la difusión del patrimonio cultural, el
proyecto ARCHEOGUIDE inició la
experimentación con AR in situ para sitios
arqueológicos. La "legibilidad" de los sitios
arqueológicos es extremadamente pobre, ya que
la mayoría de estos sitios están en ruinas. La
preservación de su carácter requiere una
intrusión mínima en el sitio; por lo tanto, las
ayudas visuales son limitadas, si existen en
absoluto.
Este caso reclama el apoyo de soluciones
tecnológicamente avanzadas. ARCHEOGUIDE
propuso una solución de este tipo, a saber, un
sistema móvil, que permite al visitante ver a
través de la cabeza-montado la reconstrucción
del sitio, mientras que él / ella está caminando a
través de él y escuchar la narración añadiendo a
esta información visual mejorada. El sistema fue
desarrollado y probado con éxito en condiciones
reales en el sitio arqueológico de la antigua
Olympia. El proyecto se enfrentó a un conjunto
de desafíos tecnológicos. El desarrollo de una
solución verdaderamente móvil capaz 934 de
superponer correctamente el campo visual del
visitante requiere en el momento grandes esfuerzos
tanto en la integración del sistema como en el
procesamiento algorítmico en la parte de visión
por ordenador. Este último resultado del requisito
no intrusivo, ya que no había posibilidad de
introducir marcadores en el área; por lo tanto, un
seguimiento robusto y en tiempo real sin
marcadores fue objetivo. Adicionalmente, la
alimentación de la cámara que se necesitaba
analizar se originó a partir de una cámara montada
en la cabeza.
Por lo tanto, el módulo de seguimiento necesitaba
ser robusto al movimiento en todos los planos y
direcciones.
ARCHEOGUIDE se basa en un concepto de
procesamiento de tres pasos para la visualización
correcta de las reconstrucciones de monumentos
en la vista del tronco del visitante, como se
muestra en la figura 2:
Paso 1: Cálculo aproximado de la posición del
usuario mediante GPS diferencial; en el caso de
Olympia, donde 12 satélites eran visibles
continuamente por el sistema, instalamos un
servidor D-GPS y alcanzamos una precisión de
aproximadamente 2 m.
Paso 2: Cálculo aproximado de la orientación de
los ojos de los usuarios mediante una brújula
digital integrada; el hardware utilizado entregó la
rotación principalmente en el plano horizontal,
mientras que el plano vertical podría estimarse
sólo dentro de 601
alrededor del punto cero de calibración (el origen
de los ejes).
Paso 3: Cálculo exacto del campo de visión del
usuario por medio de visión por computadora y
seguimiento visual.
El módulo de seguimiento fue desarrollado por el
Instituto Fraunhofer de Gráficos por Ordenador
(IGD) y se presentó en detalle en [23]. Se basa en
imágenes de referencia del sitio para recuperar la
posición y la orientación de la cabeza del visitante
y, posteriormente, realizar una transformación de
deformación de imagen para mostrar
correctamente las imágenes preprocesadas de los

Fig. 2. La arquitectura general del sistema ARCHEOGUIDE, aquí presentada con el foco principal en la plataforma cliente.
objetos superpuestos. Las imágenes de
superposición son representaciones
tridimensionales (3D) de los monumentos.
El componente de seguimiento es alimentado por
el módulo de control (desarrollado por
INTRACOM) con un conjunto de posibles
imágenes de referencia. Esto ocurre evaluando
las lecturas de un módulo D-GPS y una brújula
digital, conectada a la unidad móvil, y
posteriormente recuperando las imágenes de
referencia del candidato de la base de datos del
sistema, que es georreferenciada (sistema de
información geográfica (GIS) como la
funcionalidad). Tanto el georreferenciamiento
como la configuración y operación del servidor
D-GPS fueron realizados por el partner A &
C2000. El componente de seguimiento
inicialmente realiza el registro de imágenes
utilizando la transformada de Fourier-Mellin, que
es la traducción, la rotación y la escala invariante
[23]. Tal como se presenta en la misma
publicación, la secuencia de operaciones
comienza con la transformación de Fourier de las
935
imágenes de referencia y el fotograma actual de la
cámara del visitante.
Posteriormente, se realiza una transformación log-
polar del espectro; la correlación de fase se utiliza
para recuperar la rotación y el factor de escala y
finalmente la traducción (después de la
rectificación).
La robustez de esta solución es notablemente alta y
suficiente para el caso de aplicación. Como se
muestra en [23] de nuevo, al aplicar ruido
Gaussiano (con varianza s 02500) y usar imágenes
de prueba con poco solapamiento (menos del
50%), el error absoluto disminuye dos píxeles. El
carácter en tiempo real de los cálculos (cuando se
utiliza una transformación de Fourier rápida (FFT)
la implementación de lo anterior) en un PC
Pentium 3 a 800 MHz se da, con una velocidad de
fotogramas de 10 Hz. Para la deformación de las
imágenes superpuestas y la visualización de la
vista aumentada, se introdujo la solución de
renderización Avalon introducida por el Zentrum
fuer Graphische Datenverarbeitung (ZGDV).
Las imágenes de referencia, así como las
superposiciones correspondientes, residen en el
repositorio del servidor y se descargan en el
dispositivo cliente después de la estimación
inicial de la posición y la orientación con la
ayuda del D-GPS y la brújula (modelo de cliente
ligero) o en el almacenamiento local del
dispositivo cliente (modelo de cliente de grasa).
Los dispositivos móviles están equipados con un
adaptador inalámbrico IEEE802.11b (instituto de
ingenieros eléctricos y electrónicos) y se
comunican de forma inalámbrica con el servidor
del sitio. La información adicional que se
descarga para un punto de vista dado en el sitio
son otros archivos multimedia, como narración,
imágenes de artefactos relacionados y modelos
3D de artefactos.
En 2001, cuando se montó la primera unidad
móvil ARCHEOGUIDE AR, su peso total
superaba los 8 kg, lo que era incluso en la
mochila introducida, bastante pesada para
transportarla en el sitio arqueológico. La pantalla
montada en la cabeza con los auriculares, la
cámara y la brújula digital fueron todos
conectados a un casco (al menos en la versión
inicial del sistema). Esto obligó al consorcio
ARCHEOGUDE a buscar medios alternativos
para la presentación. Esto dio origen al "libro
inteligente" y la "guía de bolsillo", dos
soluciones que no exhiben el carácter inmersivo
de la unidad móvil AR, pero sin embargo
entregar una experiencia sensible al contexto
para el visitante del sitio. La primera de las dos
es una tableta con una pantalla táctil al aire libre,
mientras que la segunda es una PDA, ambas
equipadas con módulos GPS; el libro inteligente
también está equipado con una brújula digital. En
ambos casos, el usuario realmente no necesita
interactuar con los dispositivos, ya que la
orientación, la narración y la visualización de la
información se basan únicamente en la
información procedente de los sensores
mencionados anteriormente. Por lo tanto,
mientras los visitantes recorren el antiguo sitio
de Olimpia, sus dispositivos les presentan el
contenido apropiado. Con esto se concluyó el
objetivo inicial de una avanzada AR-Guía para el
patrimonio cultural.
En un proyecto posterior, LIFEPLUS, se
investigaron y exploraron características
adicionales por primera vez. El proyecto se
enfrentó al gran desafío de introducir una
936
reconstrucción realista de la flora y la fauna en las
presentaciones aumentadas dentro de un sitio
arqueológico. La arquitectura del sistema incluía
dos módulos independientes que funcionaban en el
dispositivo móvil del visitante, a saber, el
simulador de vida y el AR-Guide. Nuestra
participación fue en la parte de la AR-Guía. Para
una presentación detallada de los aspectos de la
vida de simulación se refieren a [24].
Aunque los componentes básicos de AR-Guide
siguen siendo los mismos que en
ARCHEOGUIDE, los socios involucrados en esta
tarea eligieron la migración de un cliente dedicado
a una arquitectura Active-X permitiendo el uso de
AR en un contenedor dedicado o convencional
como un navegador web. Además, se produjeron
cambios importantes en los componentes de
metadatos y de presentación de resultados. En el
esquema utilizado en el contexto de LIFEPLUS, la
diferenciación entre las descripciones
multimediales y las descripciones específicas del
dominio condujo a un modelo personalizable de
modo, que fue adoptado dentro de la plataforma
intGuide. Por lo tanto, para la descripción de los
elementos multimedia, se utilizó un subconjunto
MPEG-7 como base para la descripción, mientras
que la parte específica del dominio fue cubierta
por una combinación de las descripciones de
Dublin Core y el DCWA en el caso del patrimonio
cultural.
La mayor mejora en comparación con
ARCHEOGUIDE fue la continuidad de la guía
turística. En LIFEPLUS, hemos optado por un
soporte continuo del visitante con información
multimedia, mientras que en ARCHEOGUIDE
hemos utilizado sólo áreas seleccionadas en el sitio
arqueológico para mostrar información aumentada
y reproducir archivos multimedia. Por un lado,
tuvimos que abordar numerosos problemas
prácticos, como el paseo por un sitio arqueológico
lleno de ruinas con una pantalla montada en la
cabeza todo el tiempo. Por otro lado, los
problemas técnicos de reproducción continua y la
estimación robusta de la posición y la orientación
debían resolverse.
El primer problema fue abordado con éxito (y
fácilmente) por medio del diseño del dispositivo y
del contenido. En lugar de las pantallas montadas
en la cabeza, utilizamos un conjunto de
binoculares que el visitante puede llevar en una
 mano y colocarlas en su campo de visión bajo
demanda. Por lo tanto, usamos la guía de sonido
en la mayoría de las áreas y los sonidos de noti fi
cación, cuando la información visible estaba
disponible.
Para el segundo conjunto de problemas, se
utilizó un algoritmo simple para la determinación
de segmentos a lo largo de la trayectoria del
visitante. El algoritmo está tratando de identificar
cualquier desviación abrupta en las lecturas del
dispositivo de posicionamiento y cambios muy
bruscos en el movimiento de la cabeza del
visitante y suavizarlos usando una simple
combinación de buffering y promediación.
Además, es consciente del contexto, en el sentido
de que no intenta determinar la posición actual
del usuario basándose únicamente en las lecturas
del D-GPS, sino que utiliza información sobre
las posiciones pasadas. Con el fin de aumentar la
experiencia mejorada de la visita, el sistema no
interrumpe la reproducción de archivos
multimedia, incluso si se identifica la
penetración de una nueva área. La solución se da
una vez más en la fase de diseño de contenido. El
'' Etiquetado '' de segmentos multimedia se
utiliza para reproducir la parte caracterizada
como 'fi nal' en cada segmento de área antes de
iniciar la reproducción de un nuevo conjunto
multimedia en la nueva área. 937
Dentro de LIFEPLUS realizamos los primeros
intentos de crear una versión más inmersiva de la
guía de bolsillo multimedia, adjuntando una
pantalla monocular a la PDA. La evolución de
nuestros sistemas portátiles se ilustra en la Fig. 3.
Todos los ensayos realizados en el marco de los
proyectos anteriormente mencionados en los sitios
arqueológicos de Olimpia y Pompeya requirieron
un esfuerzo adicional, para ser generalizados a un
público más amplio. En el marco del proyecto
LoVEUS, decidimos dejar las fronteras de los
sitios arqueológicos y museos y entregar contenido
rico a los turistas metropolitanos que no utilizan
dispositivos de alquiler de clientes, pero mucho
más su propia generación de teléfonos móviles. El
foco principal en el contexto de LoVEUS fue la
entrega de contenido enriquecido a los teléfonos
móviles sobre el actual servicio general de radio
por paquetes (GPRS) y la emergente
infraestructura del sistema universal de
telecomunicaciones móviles (UMTS) a
dispositivos, que tienen capacidades limitadas.

Fig. 3. A la izquierda se muestra la evolución de los asistentes digitales portátiles tanto en términos de hardware
como de software. La versión inicial, tal como se despliega dentro del proyecto ARCHEOGUIDE en un simple PDA y
muestras de pantallas de la guía multimedia LIFEPLUS con un robusto PDA con pantalla monocular miniaturizada
para acompañar al visitante sin distraerlo durante la visita. La evolución de la plataforma móvil de la realidad
aumentada para la orientación turística dentro de un sitio arqueológico, en el rectángulo redondeado, como prototipo
en ARCHEOGUIDE 2001, ya la derecha de la flecha como se presenta en el marco de LIFEPLUS 2004 en Pompeya.
El peso total se reduce de más de 8 kg a aproximadamente 1,5 kg. El coste total de la unidad móvil también se
reduce drásticamente, debido principalmente a la disponibilidad de pantallas montadas en la cabeza de precio
reducido.
significativa relacionada con la población de
Dentro de este proyecto se obtuvo una experiencia contenido a través de redes móviles comerciales,
haciendo uso de la infraestructura existente de
operadores móviles. El reto principal fue la entrega
de contenidos multimedia interactivos sobre dichas
redes, preservando una calidad de servicio dada
(QoS). Hemos adquirido una valiosa experiencia en
el desarrollo de la aplicación cliente utilizando la
tecnología de periféricos de dispositivos móviles de
información (MIDP 2.0) y los servicios de
localización en colaboración con los servicios de red
Fraunhofer IGD (tecnología Mutimedia GIS) y
Vodafone. El contenido mostrado no incluía AR en
tiempo real, sino que se enviaban vistas de realidad
mixta en el teléfono móvil. Sin embargo, esta
información encontró su camino hacia la plataforma
intGuide para el soporte de teléfonos móviles, y de
ahí la extensión del carácter de publicación multi-
plataforma.
6. Tecnología de realidad aumentada en los
deportes: PISTE y MELISA
Un dominio de aplicación completamente
diferente es el de la radiodifusión deportiva. Los
deportes son una de las fuerzas motrices en el
mercado para numerosas aplicaciones, y por lo
tanto siempre un dominio muy interesante para
explorar y crear soluciones para. En el marco de
dos proyectos europeos, PISTE y MELISA,
tuvimos la oportunidad de explorar la entrega de
contenidos mejorados visualmente a diversos
dispositivos, principalmente los decodificadores
para la televisión interactiva y también los
teléfonos móviles de próxima generación.
Ambos proyectos abordaron la cadena completa
de producción y consumo durante la transmisión
de un evento deportivo en vivo. En el caso de
PISTE, el enfoque principal fue el desarrollo de
mejoras 3D relacionadas con una mejor
visualización de la información relacionada con
la transmisión actual, y adicionalmente la
introducción de un personaje parecido al juego.
Se desarrolló un conjunto de mejoras visuales
con el fin de agregar valor a la transmisión del
contenido y proporcionar a los organismos de
radiodifusión una ventaja competitiva al ofrecer
un contenido más atractivo. El desafío principal
en PISTE fue la determinación del movimiento
humano en '' casi tiempo real '', así como la
transmisión y reproducción de gráficos 3D
animados e interactivos sobre las infraestructuras
existentes (MPEG-2 DVB). El término "casi en
tiempo real" se refiere a un lapso de tiempo de
aproximadamente 10 minutos, ya que es la
cantidad de tiempo dentro de la cual una 938
"repetición" de un intento deportivo tendría
sentido en una transmisión en vivo .
Los estudios de caso para PISTE eran
principalmente tipos de deportes de pista y de
campo. Algunas mejoras representativas fueron la
reconstrucción tridimensional del movimiento de
los atletas y la proyección de los modelos 3D
predefinidos en el área reconstruida del evento
deportivo. Tal reconstrucción sería difundida en
forma de un clip MPEG-4 después del intento real.
Ayudó a los espectadores a comprender mejor y
explorar el evento y dejarlos almacenar el clip para
verlo siempre que estuviera disponible. Además,
esta tecnología está permitiendo escenarios como
las carreras virtuales: después de las semifinales de
un concurso en curso, las cuatro mejores de cada
una de las semifinales están entrando en las fi
nales. Con la tecnología PISTE es posible crear
una fusión virtual que combine los intentos de
todos los atletas que entran en las fi nales antes del
evento real. Otro escenario posible, posibilitado
por la tecnología desarrollada dentro del proyecto,
es la inserción de atletas virtuales para correr o
competir junto a los atletas actuales, imitando el
movimiento exacto del campeón del mundo, el
campeón nacional del espectador, etc. la
plataforma PISTE estaba relacionada con la
mezcla 2D de metraje, tal como superponer el
intento de un atleta de salto alto en el intento
actual de otro atleta de salto alto, o el rastro de la
pelota o un atleta de manera estroboscópica para
un mejor comprensión de una acción
particularmente rápida.
El concepto detrás de estas características, que
permite una creación casi en tiempo real de tales
efectos, es el concepto de plantilla y la creación
previa al evento. PISTE se basa en las actividades
preparatorias del equipo de radiodifusión in situ.
Por lo tanto, los broadcasters crean tomas del
entorno antes del evento e implementan un
conjunto de herramientas dedicadas para crear
reconstrucciones en 3D del sitio (mapas de entorno
calibrados). La paleta de herramientas para las
actividades preparatorias se complementa con una
herramienta de autoría para la creación de
plantillas que indican las posiciones de los
elementos gráficos e interactivos en la pantalla
para determinados tipos de deportes, así como un
sistema de anotación para la inserción de todos los
tipos de los metadatos relacionados con el lugar
del evento, de los atletas participantes, de la
posición de las cámaras en el estadio, etc. Estos
metadatos se capturan en formato MPEG-7 y se
multiplexan con el resto del contenido a la
demanda para radiodifusión en los dispositivos
cliente. En los dispositivos cliente un mecanismo
de filtrado está analizando los metadatos que
llegan para seleccionar el contenido más
apropiado para los espectadores en casa,
implementando así una forma simple de
personalización.
La tecnología de visión estéreo entregó las
herramientas para el análisis del movimiento
humano y su proyección sobre personajes
virtuales en un entorno real. El desafío dentro de
PISTE fue menos el desarrollo de nuevos
algoritmos, pero mucho más la identificación de
los más apropiados y su interconexión en un
oleoducto de procesamiento, para lograr el
resultado deseado en términos de precisión y
tiempo de procesamiento.
Un intento en pista y campo suele durar menos
de 10 s, es decir, se necesitan menos de 250
fotogramas por cámara (o 500 campos en el caso
de cámaras de radiodifusión analógicas). La
configuración en el campo consistía en múltiples
cámaras, en la mayoría de los casos tres. El
metraje de cada cámara se procesó inicialmente
por separado por medio de segmentación de
imagen. El enfoque seleccionado, implementado
por la Universidad de Creta, requirió de la
selección del manual de usuario de 18
articulaciones distintas en el primer fotograma de
cada cámara (el procesamiento de cada cámara
podría tener lugar en paralelo, ya que la
herramienta de creación desarrollada para este el
propósito de INTRACOM podría conectarse
remotamente al repositorio central y la
regulación de múltiples instancias de la misma
estaba sujeta a un motor de flujo de trabajo,
también desarrollado dentro del proyecto). Sobre
la base de que la silueta del atleta se segmentó
[25] y pasó al componente de estimación de
pose. Este último procesó el conjunto completo
de tramas segmentadas para cada cámara y
utilizando sus parámetros pan / tilt / zoom
(suministrados por sensores o el componente de
detección de movimiento de la cámara
desarrollado por EPFL) estimó la postura 3D
(componente desarrollado por ZGDV y el
Universidad de Hannover). La postura estaba
sujeta a un modelo anatómicamente correcto del
cuerpo humano [26], y también un modelo
estadístico del movimiento para el tipo específico
de deportes (modelo de distribución de puntos, 939
tal
como se presenta en [26]). El movimiento
calculado se utilizó para retroproyectar a un atleta
arti- ficial en el ambiente reconstruido, donde
ocurrió el evento. La reconstrucción del medio
ambiente fue un proceso ineludible que tuvo que
tener lugar antes de la emisión con las
herramientas desarrolladas por la IGD Fraunhofer.
PISTE aportó información valiosa para la
plataforma intGuide en otro dominio, que
INTRACOM abordó en el proyecto, a saber,
perfiles de grupo y filtrado de contenidos para
múltiples usuarios. Puesto que la televisión es un
medio que es utilizado simultáneamente por más
de un usuario, es necesario dirigirse a sus intereses
por igual. Dentro de PISTE, se desarrolló un
algoritmo de filtrado simple, que combinaba los
perfiles individuales de cada espectador de
acuerdo a las prioridades, dado su papel en la
emisión considerada ('' main viewer '', el que opera
el control remoto, '', los que están interesados en la
emisión actual y los espectadores '' pasivos,
entonces los que están siguiendo la emisión por el
bien de la unidad.
MELISA complementa los esfuerzos de PISTE y
también exhibe algunas características comunes.
Se centra en el contenido deportivo interactivo
relacionado con las mejoras 2D y principalmente
el apoyo a las actividades de juego.
Adicionalmente, en el marco de MELISA se
introduce el concepto de publicidad incrustada, es
decir, la pre- sentación de anuncios incorporados
en el flujo normal del programa, colocados en las
áreas apropiadas de las imágenes de video (como
resaltar un logotipo en la ropa de una fórmula- 1
piloto y mostrar algún texto adicional cerca).
La edición de plantillas juega un papel importante
en el proceso de preparación de contenidos de
MELISA, al igual que en PISTE. Se pueden
diferenciar las plantillas en tres categorías, la de
las mejoras visuales, que consiste en plantillas 2D
para mostrar gráficos de superposición, plantillas
de apuestas para apoyar las apuestas en tiempo real
y las plantillas publicitarias para publicidad
interactiva. Estas plantillas predefinidas son
utilizadas por las aplicaciones Work Flow Control
en tiempo real para controlar la información
transmitida.
Un conjunto de reglas basado en secuencias de
tareas guía la instanciación en tiempo real de una
plantilla predefinida. La instancia de una plantilla
de seguimiento de automóviles requeriría
recuperar los datos de seguimiento de la unidad
de mejoras visuales o de la unidad de
procesamiento de imágenes. La información de
seguimiento de datos se puede utilizar para
mostrar un logotipo de patrocinador siguiendo un
coche alrededor de la pista. Las imágenes para el
logotipo o cualquier anuncio interactivo deben
ser recuperadas del Repositorio de Información.
Para la coordinación de todas las tareas y la de fi
nición de las dependencias se introduce la
Aplicación de Control de Flujo de Trabajo en la
arquitectura. Al finalizar cada tarea, cada unidad
notifica el Control de Flujo de Trabajo que, a su
vez, redirige los datos en consecuencia.
Una Herramienta de anotación de eventos
controlada por el operador gestiona la anotación
en tiempo real de datos activos y el
desencadenamiento de eventos cuando se
requiere, p. cuando se registra una puntuación de
objetivo, se activan automáticamente las
actualizaciones de escena necesarias. La
herramienta Annotation desempeña un papel
importante tanto en el alivio del director de la
emisión de parte de la carga de trabajo como en
la instanciación de la plantilla. Durante la
radiodifusión, un operador registra cada
acontecimiento significativo como sucede. Cada
vez que el operador registra un evento, se genera
información estadística y se almacena en el
repositorio de información para su uso futuro.
Esta información estadística puede ser utilizada
por una plantilla predefinida y mostrada al
espectador en casa para mejorar la experiencia
visual o como una ayuda a las decisiones de
apuestas. La anotación de eventos en vivo
también se utiliza para activar las mejoras
visuales automáticamente. Una falta en un
partido de fútbol puede activar automáticamente
una plantilla para mejoras visuales relacionadas
con un tiro de foul, como la distancia a la meta.
El algoritmo de visión por ordenador,
responsable de la gran mayoría de las mejoras,
fue desarrollado por la Universidad de Essex y
presentado en [27]. Utiliza un mecanismo de
análisis y recuperación basado en regiones para
rastrear objetos basados en el color, los
momentos y la posición.
La unidad de anotación también se utiliza para
activar el contenido publicitario en un evento
deportivo cuando la acción lo permite. Un
ejemplo sería la grabación de un pit-stop en un
grand-prix de fórmula 1 que podría activar
automáticamente una plantilla de publicidad con
contenido publicitario relacionado con 940
el
conductor o el equipo.
7. Conciencia de contexto y visualización
avanzada en aplicaciones de comercio: el
escenario ARIS
El objetivo del proyecto ISIS ARIS fue la
integración perfecta de objetos virtuales, a través
de técnicas de reconstrucción de iluminación, en
entornos aumentados, en el contexto del diseño de
interiores. Los escenarios de aplicación que se
desarrollaron fueron: (1) un sistema interactivo de
escritorio, donde el usuario final puede integrar
fácilmente modelos de mobiliario 3D en un
conjunto de imágenes de su entorno real, teniendo
en cuenta la iluminación consistente de objetos
reales y virtuales; (2) una unidad AR móvil, donde
los modelos de productos en 3D pueden ser
visualizados directamente en un sitio real y
discutidos con participantes remotos.
El proyecto ARIS alcanzó los objetivos antes
mencionados al proporcionar: (1) métodos fáciles
de usar para la reconstrucción 3D y el registro de
cámaras; (2) seguimiento preciso de la cámara,
utilizando métodos de visión con y sin
marcadores; (3) herramientas para reconstruir la
iluminación y los datos materiales de las imágenes
(incluida la luz diurna); (4) integración perfecta de
escenas virtuales y reales mediante una
iluminación consistente entre objetos reales y
virtuales en velocidades de actualización
interactivas; (5) evaluación psicofísica y
herramientas para ajustar la visualización
aumentada a las condiciones de brillo del ambiente
real para pantallas montadas en la cabeza; (6)
componentes de colaboración, incluyendo métodos
de interacción y comunicación con usuarios
externos y usuarios in situ en entornos
aumentados.
Las dos imágenes de la derecha de la figura 4 son
los resultados de la unidad ARIS móvil AR. El
usuario visualiza los resultados a través de una
unidad de visualización montada en la cabeza e
interactúa con la escena aumentada mediante
joystick y comandos de voz. La ventana de
información del producto y todos los controles
necesarios aparecen en paneles ocultables que
ofrecen una vista sin obstáculos a la escena
aumentada.
 941

Fig. 4. Los resultados y el funcionamiento del sistema de escritorio interactivo ARIS, utilizando un complemento dentro de un
navegador web convencional, se muestran en las dos capturas de pantalla de la izquierda. Las capturas de pantalla de la unidad AR con
el conjunto completo de herramientas se muestran en las dos imágenes de la derecha. Estas últimas imágenes se muestran a través de
la pantalla montada en la cabeza en el caso de la versión inmersiva de la plataforma cliente.

El proyecto ARIS también se centró en el modelo de comunicación del servidor de comercio

despliegue de técnicas que permiten a los electrónico 3D.
participantes en el lugar y remotos colaborar
entre ellos e interactuar con la escena aumentada. 8. Lo que todo se reduce a ..., la arquitectura intGuide
En el caso de múltiples participantes en el sitio,
hay dos escenarios de aplicación: (1) la Todas las actividades de investigación mencionadas
existencia de un usuario maestro que tiene el anteriormente contribuyeron sustancialmente a la
privilegio de interactuar con la escena, mientras primera versión de la plataforma intGuide. La
que los otros usuarios simplemente ver los contribución de cada proyecto a intGuide se muestra
resultados de la interacción del maestro; (2) en la siguiente tabla, que resume el know-how que
todos los usuarios pueden interactuar con la cada proyecto entregó a la plataforma, utilizando los
escena, pero el sistema sólo permite uno a la vez. aspectos presentados en la Figura 1. Además, se
El participante remoto en el sistema de escritorio presentó un resumen de los desafíos generales de la
interactivo ARIS (diseñador de interiores) recibe ciencia y la implementación que fueron abordados
el espacio 3D reconstruido (por el cliente) y dentro de esos proyectos (por parte de todos los
puede interactuar con él (añadir y quitar muebles, consorcios respectivos).
hacer sugerencias, etc.) y devolverlo utilizando el
Projecto Aspectos cubiertos Desafíos científicos y Problemas de
tecnológicos integración
ARCHEOGUIDE Visualización de la Seguimiento sin Unidad AR móvil
información marcadores en tiempo
Interacción humano- real Presentación de objetos
ordenador multimedia en el campo
Fusión conceptual de visual del usuario de
Visión por ordenador y SIG multimedia con clasi forma natural
tecnología de fi caciones específicas
seguimiento del dominio Mecanismos de
interacción para usuarios
de AR nómadas

Identificación de
localización y orientación
basada en múltiples
sensores
LIFEPLUS
LoVEUS
PISTE
MELISA Control de flujo de (Cerca de) seguimiento Nuevos modelos de flujo
trabajo en tiempo real de objetos de trabajo para la
en movimiento rápido colaboración de
 Visualización de múltiples entidades 942
información Seguimiento de
jugadores y objetos en Publicación
Visión por ordenador y deportes grupales multiplataforma de
tecnología de contenido interactivo
seguimiento Generación de
probabilidades en tiempo Modelado MPEG-21 de
real para apuestas en publicidad interactiva y
Ontología del dominio de juego procesos de apuestas
la aplicación
Transmisión de
contenidos a través de
múltiples redes (MPEG-
Tecnología de 2 / DVB, GPRS y
procesamiento UMTS)

Contenido MPEG-4
combinado y
reproducción de
metadatos MPEG-7 en
dispositivos de recursos
limitados (PDA,
teléfonos inteligentes)

ARIS Tecnología de Reconstrucción Aplicaciones

procesamiento geométrica con
intervención mínima
Visión por ordenador y
tecnología de Reconstrucción de la
seguimiento iluminación con
intervención mínima
Componentes de
colaboración Seguimiento 3D en
tiempo real
Ontología del dominio de
la aplicación Iluminación fotorrealista
de escenas aumentadas
Gestión de inventario y
usuarios Evaluación perceptiva de
escenas aumentadas
colaborativas de AR para
'' usuarios de tipo
consumidor ''
Tele-consulta y
experiencia compartida
de vistas ampliadas
Repositorios comerciales
de modelos 3D que
alimentan tanto
aplicaciones AR como
navegadores web
convencionales
Gestión de perfiles de
usuario para aplicaciones
AR colaborativas

Computer vision and Location and

tracking technology orientation
identification based on
multiple sensors
 943

Location and Spatio-temporal

orientation detection characterization of
multimedia content
Rendering technology
LIFEPLUS Human–computer Realistic life Continuous multimedia
interaction playback in the context
of nomadic AR-units
Application domain Reconstruction Fine-grained
ontology ‘‘intelligent’’ location
and orientation
detection
Computer vision and 3D markerless tracking Equipment ergonomics
tracking technology and raggedization
Rendering technology
LoVEUS Digitization QoS for location-based Publishing of
multimedia playback interactive content over
over mobile wireless mobile telephony
networks
Human–computer Support of multiple
interaction types of devices
Location and
orientation detection
Personalization
techniques
PISTE Digitization Near-real-time human Dynamic
motion capturing in parameterization of 2D
sports and 3D template
concept
Computer vision and Reduction of manual Extension of a player to
tracking technology intervention in 3D support a multitude of
reconstruction of MPEG-4 profiles (at the
stadium areas time of development no
other implementation
supported)
Workflow control Content filtering based MPEG-4 and MPEG-7
on group profiles over DVB/MPEG-2
broadcasting
Application domain Workflow support for
ontology on-the-field
broadcasting and
interactive content
creation
Information
visualization
Personalization
techniques
Rendering technology

La arquitectura del lado del servidor de la
plataforma intGuide se presenta en la figura 5. Esta
figura denota la estructura completa del lado del
servidor necesaria para aplicar prácticamente los
servicios AR y los servicios sensibles al contexto.
Esta infraestructura consiste en: (a) herramientas de
procesamiento de la flina, que son necesarias para
preparar el contenido y extraerlo de los dispositivos
del cliente; (b) instalaciones de monitoreo en línea
que garanticen un buen funcionamiento y control
total de toda la instalación; y finalmente (c)
facilidades para la evaluación del funcionamiento
del sistema, que permitan estadísticas que pueden
conducir a adaptaciones y mejoras del servicio (y
que son consideradas vitales por la mayoría de los
operadores de servicios).
En el corazón del sistema, un sistema de gestión de
activos está ayudando a administrar los activos
digitales que son necesarios para crear los servicios
sensibles al contexto y las mejoras visuales. El
término repositorio es indicativo de un conjunto de
bases de datos diferentes, como la base de datos
operativa transaccional, el data mart necesario para
las evaluaciones estadísticas, etc. En la parte
superior del repositorio, las bibliotecas
especializadas permiten el acceso fácil y genérico,
teniendo en cuenta también las representaciones de
metadatos específicos del dominio. La fusión del
genérico con los metadatos específicos tiene lugar
en esta capa. Se supone que cualquier representación
específica requerida para extender el modelo
genérico tiene una representación en el lenguaje de
marcado extendido (XML) -schema. La definición
de esquema puede entonces ser fácilmente integrada
y asociada a las estructuras de la base de datos.
Además, las herramientas de creación adaptan sus
hojas de propiedades a las nuevas descripciones
extendidas en los paneles de anotación de contenido
de forma automática.
Las herramientas de posicionamiento y mapas
permiten la asociación de elementos multimedia y
presentaciones a determinadas ubicaciones. Esta
información se almacena en la base de datos
centralizada y también en un archivo de descripción
XML que se llena a los dispositivos de cliente a
petición, utilizando los mecanismos de carga de
contenido parametrizables. A continuación, puede
ser utilizado por el dispositivo cliente para
identificar el material exacto y presentaciones
relacionadas con una posición detectada. La
944
plataforma permite el uso de diferentes sistemas de
localización, como posicionamiento basado en WLAN
en interiores, posicionamiento basado en etiquetas
(despliegue de cualquier tecnología ampliamente
difundida para marcaje, como infrarrojos, R / F,
Bluetooth, etc.) y posicionamiento GPS al aire libre.
La plataforma ofrece también un conjunto de
herramientas para la creación de perfiles para la
selección del contenido apropiado. Actualmente, el
sistema admite mecanismos de filtración sencillos y,
por lo tanto, permite la creación de perfiles de usuario
que se comparan con la categorización de contenido
durante el proceso de anotación de contenido.
Para la plataforma hemos reutilizado la experiencia y
los resultados de todos los proyectos descritos
anteriormente para el desarrollo de la parte de gestión
de contenidos y creación. También hemos
aprovechado la colaboración con los usuarios finales
para identificar los problemas que surgen en la
aplicación rutinaria cotidiana de sistemas nómadas
sensibles al contexto, problemas que no son obvios
durante el desarrollo de aplicaciones prototípicas. Dos
aspectos característicos son: (a) el monitoreo del uso
del sistema para poder asistir a los visitantes cuando
sea necesario (por ejemplo, quedarse sin pilas, pasar
demasiado tiempo repitiendo la misma interacción con
el sistema, etc. ) y (b) la colaboración de grupos de
usuarios, que no quieren experimentar el sistema
consciente del contexto por sí mismos.
Un componente de colaboración simple en las
plataformas cliente, para el que intGuide proporciona
las aplicaciones de control, permite la comunicación
de voz y el intercambio de mensajes entre varios
participantes, así como con la unidad central. Un
modelo más avanzado de colaboración, basado en los
resultados completos de ARIS, todavía está en
construcción. Sin embargo, este modelo sólo afectará
a las plataformas de clientes inmersivos.
La adaptación del terminal aprovecha los perfiles de
dispositivos dados para adaptar el contenido a
diferentes representaciones adecuadas para diversos
tipos de dispositivos. Aunque está previsto extender la
paleta de dispositivos compatibles en un futuro
próximo, actualmente el sistema puede producir
contenido adaptado para Pocket PC, varios tipos de
pastillas para lápiz, la plataforma móvil AR-Guide
(con los componentes de rastreo y representación de
ARCHEO - GUIDE y LIFEPLUS desarrollados por
Fraunhofer IGD) y navegadores web convencionales.

offline
Authoring Tool
Workflow
Control
Map and Annotation
Positioning Tools
Tools
Metadata
Descriptions &
Translations
Repository
Fig. 5. La arquitectura abstracta de la plataforma intGuide (del lado del servidor). Los rectángulos redondeados designan componentes que
no son directamente visibles para los operadores del sistema, mientras que los rectángulos normales representan herramientas con una
interfaz gráfica de usuario.
Una versión de cliente para la plataforma Symbian
60 teléfonos inteligentes está actualmente en
desarrollo.
La plataforma intGuide también aborda la necesidad
de las organizaciones que deseen desplegar servicios
orientados al contexto para optimizar sus ofertas,
mediante la introducción de una herramienta de
evaluación estadística.
9. Trabajos futuros
Actualmente, intGuide está entrando al mercado en
su versión inicial. Una solución completa adaptada
al patrimonio cultural evolucionó con base en esta
plataforma, bajo el nombre de producto intCulture.
Utiliza la plataforma intGuide en su núcleo y añade
todas las partes específicas del dominio de la
aplicación, necesarias para que intGuide funcione
fácilmente para una organización de memoria
(cultural).
Nuestro trabajo en la plataforma principal, intGuide,
continuará hacia una versión más reciente con el
foco en tecnologías avanzadas de personalización e
interactividad multimodal en el lado del cliente. El
objetivo es, por un lado, disminuir la información
necesaria del usuario para crear una experiencia
personalizada. Por otro lado, el trabajo relacionado
con la interactividad multimodal es necesario para
incrementar la aceptación de los dispositivos clientes
en una amplia gama de usuarios finales y explorar
945
post-
online
operation
Content
Registration & Statistics & Usage
Uploading /
Downloading Inventory Tools Evaluation Tool
Template Online
Management Monitoring &
Communication
Inventory Location
Management Detection
(Server side)
medios alternativos de interacción, incluso para
personas mayores y menos informáticas. La
conciencia del contexto es ya un paso importante
hacia la simplificación de la interacción, ya que los
movimientos de los usuarios están eliminando la
necesidad de recuperación de información a petición,
pero la eficiencia adicional puede depender del uso de
formas más naturales de comunicación. Actualmente
estamos diseñando las partes de la herramienta de
creación, lo que permitirá la creación de enlaces entre
las partes interactivas del contenido y los medios de
entrada alternativos, si están disponibles. Dado que la
plataforma intGuide sirve para un amplio espectro de
dispositivos cliente, esta tarea está mostrando una
mayor complejidad con cada nuevo tipo de dispositivo
añadido.
10. Conclusión
El desarrollo de una plataforma compleja de software
para la prestación de servicios, como los servicios
sensibles al contexto, requiere conocimientos técnicos
y experiencia práctica en un amplio espectro de áreas
de especialización. Para poder crear una plataforma
algo genérica y útil, es necesario desarrollar
soluciones más pequeñas dentro del contexto de
aplicaciones prácticas. Nuestra estrategia para obtener
esta experiencia se basó en una serie de
colaboraciones exitosas en el marco de Proyectos
Europeos. Hemos demostrado cómo combinar el
trabajo de investigación complementario de un total
de 5 años y un conjunto de proyectos para crear el
valor añadido necesario para el desarrollo de una
plataforma para servicios sensibles al contexto con
tecnología avanzada de visualización. Hemos
presentado proyectos de investigación relacionados
con la realidad aumentada y mixta y su arquitectura
y cómo han contribuido al desarrollo de la
plataforma comercial global.
Expresiones de gratitud
Todo el trabajo presentado en este artículo está
respaldado por el marco IST de la Comisión
Europea. Dentro de estos proyectos, muchos socios
participaron activamente y contribuyeron de manera
significativa al éxito del resultado. La mayoría de las
cifras presentadas aquí son propiedad de los
respectivos consorcios de proyectos. Sin hacer una
diferenciación entre el valor de las contribuciones,
los autores desean agradecer a Fraunhofer IGD y
especialmente al equipo del Dr. Didier Stricker, así
como a A & C 2000 por su continuo apoyo y
cooperación en todos los esfuerzos relacionados con
946 y
algunos de los proyectos mencionado anteriormente,
también la evolución intGuide. Además, queremos
agradecer explícitamente a la Universidad de
Economía de Poznan, al Zentrum fuer Graphische
Datenver- barbeitung Darmstadt, a la Universidad de
Manche- rast, al INRIA (Instituto Nacional de
Investigación en Informática y Automática), a la
Universidad de Bristol Centro de Computación
Gráfica en Portugal, Universidad de Essex,
Universidad de Uppsala, ENST (Universidad
Nacional de Suplente), ONDIM, Ladbrokes UK,
INTRALOT, Universidad de Hannover, Francia
Telecom R & D, Thomson Multimedia R & D, Uni -
versidad de Creta, la Hellenic Broadcasting
Organization, Cosmote, Vodafone Grecia para la
cooperación óptima en los proyectos mencionados.
Por último, queremos agradecer a Michalis
Karagiozidis, coordinador del proyecto LoVEUS por
la información relacionada con el proyecto Loveus, y
Nikos Pronios, director del Departamento de Nuevas
Tecnologías y Mercados de INTRA- COM, para la
supervisión administrativa de todos los proyectos
previamente mencionado.