Traducido del inglés al español - www.onlinedoctranslator.

com

Conferencia de trabajo IEEE 2017 sobre visualización de software

GRAMOETAVIZ: Generación de cambios estructurales, conductuales y

Vistas evolutivas de los sistemas de software para
Evaluación empírica
david baum∗, Jan Schilbach∗, Pascal Kovacs∗, Ulrich Eisenecker∗y Richard Muller∗
∗Instituto de Sistemas de Información
universidad de leipzig,
{baum, schilbach, kovacs, eisenecker, rmueller}@wifa.uni-leipzig.de

Resumen—Las visualizaciones de software se utilizan para ayudar a las
partes interesadas en las actividades de ingeniería de software, como el
desarrollo, la gestión de proyectos y el mantenimiento. Las tareas respectivas
determinan qué aspectos del software, es decir, información estructural, de
comportamiento y/o evolutiva, necesitan ser visualizados. Para promover el
uso de visualizaciones de software, deben respaldar de manera óptima las
necesidades de las partes interesadas respectivas para la tarea específica en
cuestión. Por lo tanto, vemos la necesidad de crear visualizaciones
innovadoras y optimizar las existentes. Para lograr esto, es necesario evaluar
empíricamente las diferentes visualizaciones y sus variantes. En este artículo
presentamos GETAVIZcomo un conjunto de herramientas para respaldar estos
procesos, es decir, diseñar visualizaciones, generar visualizaciones específicas
de tareas y funciones, y realizar evaluaciones empíricas. El conjunto de
herramientas implementa el concepto de visualización de software generativa
y basada en modelos y hace posible generar diferentes visualizaciones para
los tres aspectos del software. Su fuerza radica en su adaptabilidad, de modo
que se pueden implementar fácilmente nuevas visualizaciones y variaciones
de las existentes. Además del generador, este conjunto de herramientas
contiene varios extractores para diferentes lenguajes de programación, una
interfaz de usuario basada en navegador para ver visualizaciones e interactuar
con ellas, y un servidor de evaluación para facilitar la ejecución de
experimentos locales y remotos. El documento ilustra las capacidades de G
ETAVIZ
y discute los planes para su desarrollo posterior.
Términos del Índice—3D, proceso de evaluación, evaluación empírica,
visualización de software, interfaz de usuario, metáfora de visualización
yo yoNTRODUCCIÓN
La investigación de visualización de software ha producido muchas
propuestas para apoyar y mejorar las actividades y tareas de ingeniería de
software. Sin embargo, todavía existe una gran brecha entre la investigación y
la práctica. La mayoría de los resultados de la investigación no son utilizados
por los profesionales [1], [2]. Las razones para esto son múltiples. Creemos
que una de las razones de esta situación es la falta de conocimiento, cuándo
usar qué visualización.
Para obtener este conocimiento faltante, Müller et al. [3] adaptó el
trabajo de Munzner et al. [4], [5] al campo de la visualización de software
y propusieron un marco teórico para la evaluación de visualizaciones de
software. El marco toma los diferentes factoresusuario,tarea,artefacto
de software,representación,navegación e interacción, yimplementación
en cuenta. Apoya a los investigadores en el diseño y la planificación de
evaluaciones empíricas. Para llevar a cabo estudios empíricos de manera
eficiente, se necesita un proceso de evaluación adaptable, así como una
amplia cobertura de herramientas para este proceso. Por lo tanto,
ampliamos el trabajo anterior sobre un modelo centrado en el usuario.
enfoque para optimizar las visualizaciones de información relacionadas con la
legibilidad, la comprensibilidad y la satisfacción del usuario [6].
En este trabajo presentamos GETAVIZ, un conjunto de herramientas
que sustenta el marco teórico para la evaluación de la visualización de
software [3] con las herramientas para realizar estas evaluaciones.
Proporciona soporte de herramientas para el proceso completo de
diseño y evaluación de visualizaciones de software, incluida la
generación automática de visualizaciones específicas de roles y tareas.
II. GRAMOETAVIZ
El principal objetivo del conjunto de herramientas presentado es realizar
evaluaciones empíricas local y remotamente de manera eficiente y
reproducible para diferentes metáforas de visualización, así como sus
variantes. Se debe respaldar el proceso completo, desde el diseño de una
visualización de software específica para tareas y roles hasta su evaluación
empírica. Para lograr esto, hemos desarrollado múltiples herramientas y las
hemos integrado en un conjunto de herramientas como se muestra en la Fig.
1. Consta de 1) extractores para diferentes lenguajes de programación y
sistemas de control de versiones, 2) un generador de visualización de software
generativo y basado en modelos, 3 ) una interfaz de usuario basada en
navegador para ver e interactuar con una visualización, y 4) un servidor de
evaluación para simplificar y estandarizar las evaluaciones empíricas. Todo el
conjunto de herramientas se demuestra en un screencast adicional.1A
continuación, describimos los componentes individuales del conjunto de
herramientas.
tercero miEXTRACTORES
El generador toma uno de los tres modelos independientes del
idioma como entrada, por lo que todo el proceso de generación es
independiente del idioma. La familia de metamodelos FAMIX 3.0 consta
de tres metamodelos diseñados originalmente para el análisis de
software [7]: FAMIX como base para modelar aspectos estructurales,
DYNAMIX para agregar aspectos de comportamiento [8] y HISMO para
agregar aspectos evolutivos de los sistemas de software [9 ]. Todos los
metamodelos son adecuados para lenguajes de programación
estructurados y orientados a objetos.
Para generar los modelos reales, utilizamos extractores
dependientes del idioma. Actualmente existen extractores
FAMIX para Java, Ruby, ABAP y C-, extractores DYNAMIX para
Java y Ruby, y extractores HISMO para git y SVN.
1https://youtu.be/OOEQNhyTrLo

978-1-5386-1003-9/17 $31,00 © 2017 IEEE 114

DOI 10.1109/VISSOFT.2017.12
 Fig. 1. Descripción general del conjunto de herramientas y sus técnicas de implementación
IV. GRAMOENERGADOR
El generador de visualización de software admite la visualización
independiente del lenguaje en 2D y 3D de los tres aspectos de los
sistemas de software, es decir, estructura, comportamiento y evolución
[10]. Está diseñado para ser altamente flexible y fácilmente extensible,
por ejemplo, para volver a implementar visualizaciones de diferentes
investigadores para integrarlas en un proceso unificado de evaluación
empírica. GRAMOETAVIZya admite múltiples metáforas de visualización,
variantes por metáfora y formatos de salida como se describe en las
siguientes secciones.
A. Metáforas y variantes admitidas
Actualmente, G.ETAVIZadmite cuatro metáforas principales de
visualización, denominadasDisco recursivo (RD),Ciudad,Planta, y
Metáfora multiesfera(cf. Figura 2). Estas metáforas se
implementaron como parte de un proyecto de investigación que
compara visualizaciones de software en 2D, 3D y realidad virtual.
Dado que existe un debate en curso sobre la utilidad y la necesidad
de la tercera dimensión en la visualización de información [11]–[13],
creemos que es importante admitir 2D y 3D por igual.
Reimplementamos la metáfora de la ciudad de Wettel y Lanza [14] (cf.
Fig. 2(a)) para evaluar la metáfora de RD (cf. Fig. 2(b)) frente a esta
visualización establecida. La metáfora de la planta (cf. Fig. 2(c)) es una
metáfora del mundo real que visualiza la misma información que un
macizo de flores, donde los estambres y los pétalos representan
métodos y atributos de una clase. La metáfora de la Multiesfera (cf. Fig.
2(d)), por el contrario, es una metáfora abstracta que representa la
información estructural como esferas anidadas.
(a) Metáfora de la ciudad (b) Metáfora RD
Fig. 2. Metáforas seleccionadas apoyadas por GETAVIZ
115
La figura 2 muestra una variante de cada metáfora. Cada metáfora se
puede modificar de varias maneras, por ejemplo, agregando
información a la visualización o eliminando información de ella como se
muestra para la metáfora RD en la Fig. 3 o usando diferentes
animaciones, algoritmos de diseño o canales visuales, como color,
forma , inclinación y tamaño [15] como se muestra en la figura 4 para la
metáfora de la ciudad. A continuación, describimos la metáfora RD y
algunas variantes para mostrar la adaptabilidad y la integridad de
nuestro enfoque de visualización.
1) Visualización de estructura RD:La metáfora de RD muestra todos
los aspectos estructurales importantes del sistema de software, incluidos
paquetes, clases, métodos y atributos [16]. Los glifos utilizados por la
metáfora son discos, anillos y segmentos anidados. El anidamiento
representa las relaciones de contención de las entidades de software
visualizadas.
En esta variante, la metáfora RD es bidimensional. Por lo tanto, la
tercera dimensión se puede utilizar para transmitir más
información sobre las entidades representadas por los glifos. Una
posible variante se representa en la Fig. 3(a). Aquí, la altura de los
métodos muestra la complejidad ciclomática de los métodos.
2) Visualización del comportamiento de RD:La metáfora de RD
también se puede utilizar para visualizar el comportamiento de un
sistema de software [17]. En la Fig. 3(b), los glifos colocados sobre la
base son llamadas a métodos de un rastro. La posición de los glifos
muestra la hora de inicio de la llamada en el trazo y su altura está
determinada por su duración.
3) Visualización de la evolución de RD:También el tercer aspecto del
software, la evolución, puede visualizarse como una variante del
(c) Metáfora de la planta (d) Metáfora multiesfera
 (a) Vista estructural con metáfora RD: Complejidad
ciclomática como altura de los métodos
Fig. 3. Variantes seleccionadas de la metáfora RD apoyadas por GETAVIZ, visualizando diferentes aspectos de los sistemas de software
Metáfora RD [17]. La base de la visualización en la Fig. 3(c) es un
diseño máximo. Muestra todos los elementos que ocurren en el
período de evolución representado del sistema de software. El
tamaño de los glifos en el diseño base está determinado por el
tamaño máximo de las entidades representadas. Las versiones del
sistema de software visualizado se colocan sobre el diseño base.
Solo las entidades que ocurren en la versión respectiva del sistema
de software se muestran en la visualización. El tamaño de los glifos
de las versiones está determinado por el tamaño del elemento en la
versión representada.
B. Implementación
Ampliamos el trabajo anterior de Müller et al. [18], quienes
introdujeron el enfoque generativo y basado en modelos para
hacer frente a los requisitos presentados al crear visualizaciones de
software altamente personalizadas y listas para usar. Al separar el
proceso de visualización en múltiples transformaciones de modelos,
se puede implementar una gran variedad de plataformas para
diferentes metáforas. El generador se basa en este enfoque de
implementación.
(a) Variante de piso de la ciudad: métodos como
pisos, atributos en la parte superior de los edificios
Figura 4.
(b) Vista conductual con metáfora RD: duración de la (c) Visión evolutiva con metáfora RD:
llamada como altura de los métodos Diferentes versiones del sistema de
software
El proceso de generación consta de tres pasos, cada uno toma un
modelo como entrada y genera el modelo transformado. La
implementación se basa en Eclipse Modeling Framework,
especialmente Xtext2y extender3. El marco Xtext se utiliza para
describir los metamodelos. Además, el marco es capaz de analizar
archivos de texto que siguen estos metamodelos y crear un modelo
a partir de ellos. Por el momento, analizar los archivos de entrada
es el cuello de botella con respecto a la escalabilidad. El tamaño del
modelo está limitado ya que Xtext carga el modelo completo en la
RAM a la vez, de forma similar a un analizador DOM. Actualmente,
podemos visualizar Apache Spring Framework, que consta de
aproximadamente 2 millones de líneas de código (LOC), pero no
modelos mucho más grandes. Una vez completado este paso, se
utiliza Xtend para realizar las transformaciones del modelo. Xtend
es un lenguaje de programación JVM y está especialmente diseñado
para este caso de uso. En general, hay tres pasos de transformación
que se describen a continuación.
2https://eclipse.org/Xtext/
3https://eclipse.org/xtend/
(b) Variante de panel de ciudad: métodos como (c) Variante de ladrillos de la ciudad: métodos y
paralelepípedos, atributos como cilindros atributos como ladrillos de los edificios
Variantes seleccionadas de la metáfora de la ciudad con el apoyo de GETAVIZ
116
 1) Fuente a modelo:En este paso, se crea un modelo específico de
metáfora a partir del modelo fuente, por ejemplo, el modelo FAMIX. De
ese modo se lleva a cabo el mapeo entre entidades de código y
entidades visuales. Por ejemplo, para cada clase del modelo de origen se
crea un disco en el modelo RD.
2) Modelo a Modelo:El segundo paso enriquece el modelo
específico de la metáfora del primer paso con más información. Por
ejemplo, la información de diseño no se puede calcular durante el
primer paso porque se requiere información sobre el modelo
completo para calcular las posiciones. El modelo resultante
contiene toda la información para visualizar el sistema de software.
3) Modelo a objetivo:En el último paso, se utiliza el modelo
específico de la metáfora del paso anterior para generar el
resultado final. Cada entidad del modelo específico de la
metáfora se transforma en una representación X3D o X3DOM.
v tuSERyoINTERFAZ
Para respaldar los diferentes casos de uso de la aplicación del usuario final,
realizar estudios y probar funciones para cada visualización generada, se ha
creado una interfaz de usuario basada en navegador genérica y altamente
configurable. Se basa en la salida del generador de visualización de software,
la visualización misma y un archivo JSON que contiene metadatos adicionales,
por ejemplo, nombres completos, relaciones de herencia y jerarquías de
llamadas. Esta información es independiente de la metáfora y se compara con
entidades visuales mediante una identificación única. Es utilizado
principalmente por la interfaz de usuario para proporcionar más información
sobre el sistema de software subyacente. GRAMOETAVIZutiliza X3D y X3DOM
como las principales plataformas de renderizado, ya que proporcionan una
variedad de funciones que se adaptan a la visualización del software [19]. X3D
es un estándar definido por Web3D Consortium para facilitar la creación e
intercambio de escenas 3D [20]. Define un formato de intercambio XML que lo
convierte en una buena opción como plataforma de destino. Además, X3D
admite diferentes tipos de funciones multimedia, como video, audio y
animación. X3DOM fue desarrollado para integrar X3D en HTML y así lograr
un uso más sencillo de las aplicaciones web [21]. Por estos motivos, la interfaz
de usuario de nuestro conjunto de herramientas utiliza X3DOM en lugar de
X3D. Mejora las técnicas de interacción estándar de X3DOM, por ejemplo, con
nuevos tipos de navegación, información sobre herramientas con detalles,
conectores para relaciones, un explorador de paquetes y un visor de código
fuente.
La interfaz de usuario se basa en el patrón modelo-vista-
controlador y un modelo de evento de publicación-suscripción para
un acoplamiento débil entre las acciones del usuario y la
manipulación de la visualización. Cada controlador implementa al
menos una técnica de interacción como resaltar un elemento
seleccionado y publica o consume los eventos correspondientes.
Un archivo de configuración de instalación define el diseño, la
colección de controladores y los parámetros de una interfaz de usuario
específica. Por lo tanto, se puede definir un gran número de variantes de
interfaz de usuario para cada caso de uso de una manera fácil y
eficiente, considerando optimizaciones específicas de visualización para
la interacción, así como desarrollando e integrando nuevas técnicas de
interacción o mejorando las existentes.
117
VI. miVALUACIÓNSEVER
Para proporcionar visualizaciones optimizadas para diferentes aspectos, es
indispensable una comprensión más profunda de los pros y los contras de las
visualizaciones del software. Para obtener este conocimiento, son necesarias
evaluaciones con visualizaciones completamente nuevas y con diferentes
variantes de las visualizaciones existentes. Por lo tanto, GETAVIZcontiene un
servidor de evaluación que utiliza la interfaz de usuario presentada [17]. Sin
embargo, el acoplamiento entre ambos componentes es débil, el servidor de
evaluación puede integrar fácilmente cualquier otra interfaz de usuario
basada en navegador.
El servidor de evaluación es una aplicación de Rails
creada para facilitar la planificación y realización de
evaluaciones empíricas con visualizaciones de software.
Una interfaz administrativa permite al evaluador definir
y organizar las diferentes partes de la evaluación, como
cuestionarios, visualizaciones y las tareas respectivas.
Cada evaluación incluye un hash de identificación único,
lo que permite compartir el enlace a la evaluación con
los participantes. También es posible proporcionar a
cada participante un enlace único al experimento. Los
participantes son guiados automáticamente a través del
proceso de evaluación. Cada página del proceso es
visible solo una vez por cada participante. Se persisten
los tiempos necesarios para contestar las preguntas, así
como las propias respuestas.
El servidor de evaluación se puede utilizar en dos modos de
funcionamiento diferentes. Es posible implementar el servidor en un
servidor web, para que los participantes puedan hacer la evaluación de
forma remota. Esto hace posible llegar a más participantes. Un
inconveniente de este enfoque es el control limitado sobre los
participantes. La otra opción es ejecutar el servidor en una computadora
local. La realización de la evaluación de esta manera aumenta el control
sobre el entorno de los participantes. La ventaja del servidor de
evaluación en este entorno es la guía automatizada de los participantes
a través del experimento, lo que reduce la influencia del evaluador sobre
los participantes.
VIII. REXALTADOWORK
GRAMOETAVIZproporciona vistas estructurales, de comportamiento y
evolutivas de sistemas de software procedimentales y orientados a
objetos en 2D y 3D. Hay varias herramientas de visualización de software
con un enfoque amplio similar que incluyen sv3D [22] y cv3D [23], Vizz3D
[24], Codemap [25], SArF Map [26], Verso [27] y BlendedCity [28]. Sin
embargo, la visualización de todas las herramientas antes mencionadas
no se puede explorar en un navegador web y proporcionan diferentes
interfaces de usuario y técnicas de interacción, lo que hace que sea
imposible evaluar estas visualizaciones en condiciones idénticas.
EvalBench es una biblioteca Java flexible para la evaluación de
visualización de información [29] y proporciona características
similares al servidor de evaluación de GETAVIZ. El usuario puede
definir el proceso de evaluación, incluyendo tareas y cuestionarios y
se puede combinar con prototipos de visualización de terceros. Sin
embargo, EvalBench carece de capacidades remotas y está limitado
a interfaces de usuario basadas en Java. Otras soluciones de
evaluación como el entorno de prueba de visualización jerárquica
(HVTE) [30] y Touchstone [31] tienen un enfoque diferente. Estas
herramientas soportan procesos de evaluación complejos y
ramificados y proporcionan un análisis integrado de la evaluación,
que GETAVIZno es. Pero están diseñados para una visualización 2D
simple con interfaces de usuario mínimas, lo que no es adecuado
para la visualización de software.
En consecuencia, hemos comenzado a desarrollar GETAVIZincluida la
interfaz de usuario y el servidor de evaluación para cubrir el proceso
completo, desde la generación de visualizaciones hasta su
representación en un navegador web y la realización de evaluaciones
empíricas para cualquier metáfora de visualización.
VIII. CONCLUSIÓN Y FUTUROWORK
Hemos presentado la funcionalidad y el concepto de implementación
de GETAVIZ, un conjunto de herramientas para respaldar el proceso
completo de diseño y evaluación de visualizaciones de software. Hemos
aplicado con éxito el enfoque generativo y basado en modelos para
admitir múltiples metáforas de visualización, variantes de metáforas,
lenguajes de programación, sistemas de control de versiones y formatos
de salida. Para superar el problema de escalabilidad mencionado,
planeamos reemplazar Xtext por una base de datos de gráficos, lo que
nos permitirá visualizar sistemas con varios millones de LOC.
Actualmente, G.ETAVIZestá diseñado para investigadores. Para que también
sea adecuado para los usuarios finales, es necesario mejorar especialmente la
interfaz de usuario del generador. Especificar la visualización debe ser más
fácil, por ejemplo, a través de una interfaz de usuario orientada a tareas,
donde el usuario selecciona la tarea que tiene que resolver y la visualización
óptima se elige automáticamente.
Ya llevamos a cabo varios estudios cuantitativos y cualitativos que se
basan total o parcialmente en el conjunto de herramientas presentado
[6], [17], [32]. GRAMOETAVIZse desarrolla continuamente. En el futuro,
tenemos la intención de cubrir más lenguajes de programación, por
ejemplo, Python y JavaScript, y metáforas de visualización. Sobre esta
base, planeamos realizar varias series de experimentos para aumentar y
mejorar los datos obtenidos empíricamente en la visualización de
software para hacer que la visualización de software sea más atractiva
para los profesionales.
RFERENCIAS
[1] SP Reiss, “La paradoja de la visualización de software”, en3er Taller
Internacional IEEE sobre Visualización de Software para Comprensión y
Análisis, 2005, págs. 1 a 5.
[2] L. Merino, M. Ghafari y O. Nierstrasz, “Towards Actionable Visualization in
Software Development”, en4º Trabajo IEEE. Conf. suave Vis., 2016, págs.
61–70.
[3] R. Müller, P. Kovacs, J. Schilbach, UW Eisenecker, D. Zeckzer y
G. Scheuermann, "Un enfoque estructurado para realizar una serie de
experimentos controlados en visualización de software", enCongreso
Internacional de Teoría y Aplicaciones de la Visualización de la Información
(IVAPP), enero de 2014, págs. 204–209.
[4] T. Munzner, "Un modelo anidado para el diseño y la validación de la visualización",
Transacciones IEEE sobre visualización y gráficos por computadora, vol. 15, núm. 6,
págs. 921–928, noviembre de 2009.
[5] M. Meyer, M. Sedlmair y T. Munzner, "Revisión del modelo anidado de
cuatro niveles: bloques y pautas", enActas del Taller BELIV 2012: Más allá
del tiempo y los errores - Nuevos métodos de evaluación para la
visualización, ser. BELIV '12. Nueva York, NY, EE. UU.: ACM, 2012, págs.
11:1–11:6.
[6] D. Baum, "Introducción de la estética a la visualización de software", enWSCG,
vol. 23, 2015, pág. 9.
118
[7] S. Ducasse, N. Anquetil, MU Bhatti, AC Hora, J. Laval y
T. Girba, "MSE y FAMIX 3.0: una familia de modelos de formato de intercambio
y código fuente", HAL, Tech. Rep., noviembre de 2011.
[8] O. Greevy, "Dynamix: un metamodelo para admitir el análisis centrado en
características", en1º Int. Trabajar. Reingeniería de alces FAMIX, 2007.
[9] S. Ducasse, T. Gı̂rba y J.-M. Favre, “Modelado de la evolución del software al tratar la
historia como una entidad de primera clase”, enTrabajar. suave Evol. A través de
Transformar., 2004, págs. 75–86.
[10] S. Diehl,Visualización de software: visualización de la estructura, el
comportamiento y la evolución del software. Springer, 2007.
[11] T. Münzner,Proceso y trampas en la redacción de artículos de investigación de
visualización de información. Springer Berlín Heidelberg, 2008, págs. 134–153.
[12] AR Teyseyre y MR Campo, "Una descripción general de la visualización de
software 3D".Transacciones IEEE sobre visualización y gráficos por
computadora, vol. 15, núm. 1, págs. 87 a 105, 2008.
[13] C. Hansen, S. Miksch, K. Mueller, B. Preim y C. Ware, “2D VS 3D IEEE
VIS 2014 Panel Proposal,” 2014.
[14] R. Wettel y M. Lanza, "Comprensión del programa a través de la habitabilidad del
software", enCIPC 2007. IEEE CS Press, 2007, págs. 231–240.
[15] T. Münzner,Análisis y diseño de visualización. Prensa CRC, 2014.
[16] R. Müller y D. Zeckzer, "La metáfora del disco recursivo: un enfoque basado en
glifos para la visualización de software", enActas de la 6ª Conferencia
Internacional sobre Teoría y Aplicaciones de Visualización de Información
(IVAPP '15). Setúbal: SciTePress, 2015, págs. 171–176.
[17] J. Schilbach, "Analyse, Erzeugung und Evaluation animierter
Softwarevisualisierungen", disertación, Universität Leipzig, Leipzig, 2017,
presentada.
[18] R. Müller, P. Kovacs, J. Schilbach y U. Eisenecker, "Visualización generativa de
software: generación automática de visualizaciones específicas del usuario",
enproc. En t. Trabajar. Dígito. Ing., Magdeburgo, Alemania, 2011, págs. 45–49.
[19] C. Anslow, S. Marshall, J. Noble y R. Biddle, "Evaluación de X3D para uso en
visualización de software"Actas del 3er simposio ACM sobre visualización
de software, págs. 161 y 162, 2006.
[20] Consorcio Web3D, "Tecnología de la información: gráficos por computadora y
procesamiento de imágenes: 3D extensible (X3D)", 2008.
[21] J. Behr, P. Eschler, Y. Jung y M. Zöllner, “X3DOM”, enActas de la 14.ª
Conferencia Internacional sobre Tecnología Web 3D (Web3D '09). Nueva
York: ACM Press, junio de 2009, pág. 127.
[22] A. Marcus, L. Feng y JI Maletic, "Comprehension of software analysis data
using 3D visualization", en11 Int. Trabajar. progr. compr. IEEE Computer
Society, 2003, pág. 105.
[23] X. Xie, D. Poshyvanyk y A. Marcus, "Visualización de la información del
repositorio de CVS", en3º Trabajo. Conf. ing. inversaiee, 2006, págs. 231–
242.
[24] T. Panas, R. Lincke y W. Löwe, "Configuración en línea de visualizaciones de
software con Vizz3D", enproc. 2005 Simposio ACM. suave Vis. Nueva York,
Nueva York, EE. UU.: ACM Press, mayo de 2005, págs. 173–182.
[25] A. Kuhn, D. Erni y O. Nierstrasz, "Embedding space software visualization
in the IDE: an exploratory study", enproc. 5to Int. Síntoma suave Vis.
Nueva York, EE. UU.: ACM, octubre de 2010, págs. 113–122.
[26] K. Kobayashi, M. Kamimura, K. Yano, K. Kato y A. Matsuo, "Mapa SArF:
visualización de la arquitectura de software desde los puntos de vista de
características y capas", en21 Int. Conf. progr. compr., 2013, págs. 43–52.
[27] O. Benomar, H. Sahraoui y P. Poulin, "Visualizing Software Dynamicities
with Heat Maps", en1er Trabajo IEEE. Conf. suave Vis., 2013.
[28] T. Dal Sasso, R. Minelli, A. Mocci y M. Lanza, "Mezclado, no agitado: Visualización
multipreocupación de grandes sistemas de software", en3er Trabajo IEEE.
Conf. suave Vis., 2015, págs. 106–115.
[29] W. Aigner, S. Hoffmann y A. Rind, "EvalBench: una biblioteca de software para la
evaluación de la visualización", enConferencia Eurographics sobre
Visualización (EuroVis), vol. 32, núm. 3, 2013.
[30] K. Andrews, W. Putz y A. Nussbaumer, “The Hierarchical Visualization
System (HVS)”, enproc. En t. Conf. Visualización de información,
2007.
[31] WE Mackay, C. Appert, M. Beaudouin-lafon, O. Chapuis, Y. Du,
J.-d. Fekete y Y. Guiard, “Touchstone: Exploratory Design of Experiments”, en
Conferencia SIGCHI. Factores humanos en sistemas informáticos, 2007.
[32] R. Müller, P. Kovacs, J. Schilbach y D. Zeckzer, "How to Master
Challenges in Experimental Evaluation of 2D versus 3D Software
Visualizations", enTaller internacional IEEE VIS 2014 sobre 3DVis:
¿Realmente tiene sentido el 3D para la visualización de datos?, IEEE.
París, Francia: IEEE, 2014.