A Meta-Study of Algorithm Visualization Effectiveness (2002) .Es

AMeta-StudyofAlgorithmVisualizationE¡ectiveness
CHRISTOPHER D. HUNDHAUSENn,SARAH A. DOUGLASw.

YJOHN T. STASKOz
nLaboratoryforInteractiveLearningTechnologies,InformationandComputerSciencesDepart
ment,
UniversityofHawai'i,Honolulu,HI96822,U.S.A.,E-mail:hundhaus@hawaii.edu, wHuman-
Computer
InteractionLab,ComputerandInformationScienceDepartment,UniversityofOregon,Eugene,
OR97403-1202U. S.A.and
zCollegeofComputing/GVUCenter,GeorgiaInstituteofTechnology,Atlanta, GA30332-
0280,U.S.A.
La tecnología Algorithmvisualization (AV) ilustra gráficamente cómo funcionan los

algoritmos. A pesar del atractivo intuitivo de la tecnología, no se ha podido ver en
la educación informática convencional. Algunos han atribuido este fracaso a los
resultados mixtos de estudios experimentales diseñados para fundamentar la
educación de la tecnología AV. Sin embargo, mientras que varias revisiones
integrativas de la tecnología AV han aparecido, ninguno se ha centrado en la
e¡encia del software mediante el análisis de este cuerpo de estudios
experimentales en su conjunto. Con el fin de comprender mejor la e¡ectatness de
la tecnología AV, presentamos un meta-estudio sistemático de 24 estudios
experimentales. Realizamos dos análisis separados: un análisis de las variables
independientes, en el que vinculamos cada estudio a una teoría de aprendizaje guía
particular en un intento de determinar qué teoría guía ha tenido el éxito más
predictivo; y un análisis de variables dependientes, que nos permite determinar
qué técnicas de medición han sido más sensibles al learningbene-ts de
AVtechnology.Nuestra tecnología mostsigni-cant-ndingisthathowstudentsuseAV
tiene un mayor impacto en e¡ que lo que les muestra la tecnología AV. Basándonos
en nuestros "ndings", formulamos una agenda para futuras investigaciones sobre
la e¡ectatness AV. r 2002 Elsevier Science Ltd. Todos los derechos reservados
Palabras clave: Visualización de algoritmos; Visualización de software; Estudios

empíricos de e¡ectiveness; Reseñas de literatura; Metaanálisis
260 C. D. HUNDHAUSENETAL.
1. Introducción
BY GRAPHICALLY representando algoritmos informáticos en acción, la tecnología de
visualización de algoritmos (AV) tiene como objetivo ayudar a los estudiantes de
ciencias de la computación a entender cómo funcionan los algoritmos. Desde su
llegada a finales de la década de 1970, la tecnología AV ha evolucionado a partir de
software orientado a lotes que permite a los instructores construir animación de
lms [1]; a sistemas altamente interactivos que permiten a los estudiantes explorar
dinámicamente animaciones de algoritmos por sí mismos (por ejemplo, [2, 3]); a
entornos de programación interactivos que permiten a los estudiantes construir
rápidamente sus propias visualizaciones (por ejemplo, [4, 5]). En las últimas dos
décadas, esta evolución del software se ha esforzado por mejorar la educación en
ciencias de la computación en una variedad de capacidades. Por ejemplo, se ha
utilizado AVsoftware:
1045-926X/02/$- véase la materia frontal r 2002 Elsevier Science Ltd. Todos los derechos
reservados
* para ayudar a los instructores a ilustrar las operaciones de algoritmos en una
conferencia (por ejemplo, [2]);
* para ayudar a los estudiantes a estudiar y aprender acerca de los algoritmos
fundamentales en un curso de ciencias de la computación (por ejemplo, [6]);
*
para ayudar a los instructores a rastrear errores en los programas de listas
vinculadas de los estudiantes durante las horas de
* para ayudar a los estudiantesaprender sobrelasoperaciones básicas deun
abstractdatatype en un laboratorio de ciencias de la computación (por ejemplo,
[8]).
A pesar de su atractivo intuitivo como ayuda pedagógica, la tecnología de
visualización de algoritmos no se ha dado cuenta de la educación convencional en
ciencias de la computación [4,9]. Mientras que esos pocos educadores que también
sonAVtechnologydevelopers tienden a emplear su propia tecnología AV, la mayoría
de los educadores de ciencias de la computación tienden a apegarse a tecnologías
pedagógicas más tradicionales, como pizarras, pizarras y Proyectores.
¿Por qué los educadores de informática tienden a no utilizar la tecnología AV? Los
instructores comúnmentecitan varias razones, incluyendo las siguientes
* Sienten que no tienen tiempo para aprender sobre ello.
* Creen que usarlo le llevaría el tiempo necesario para otras actividades de la clase.
* Creen que crear visualizaciones para uso en el aula requiere demasiado tiempo y
e¡ort. Tenga en cuenta que, en la literatura de tecnología AV, esta razón se utiliza
con frecuencia para motivar la nueva tecnología que es más fácil de usar, y que
apoya la creación más rápida de visualizaciones (véase, por ejemplo, [10-12]).
* Sienten que simplemente no es educativamente e-ecttive.
Todas estas razones ciertamente contribuyen, de alguna manera, a que no se

adopte la tecnología AV. Sin embargo, la cuarta razónFque La tecnología AV no
ayuda a los estudiantes a aprender algoritmos mejor que los métodos de enseñanza
EFICACIA DE LA VISUALIZACIÓN DEL ALGORITMO 261
convencionalesF se destaca como particularmente importante. De hecho, el

propósito subyacente de la tecnología AV es ser educativamente e-ecttive, por lo
que ciertamente no hay razón para adoptar la tecnología si no es e¡ective.
Dado que el propósito subyacente de la tecnología AV es educativamente-ective,
es digno de mención que las revisiones taxonómicas de ocho exextanantes de la
tecnología de visualización de software AVy (verTable1) se han centrado en gran
medida en la expresividad del sistema. En particular, estas taxonomías se han
centrado en tres cuestiones principales:
(1) ¿Qué tipos de programas se pueden visualizar con un sistema de visualización
determinado?
(2) ¿Qué tipos de visualizaciones puede producir un determinado sistema de visualización?
(3) ¿Qué métodos se pueden utilizar para producir e interactuar convisualizaciones?
En particular, al centrarse en la expresividad del sistema, estas revisiones

integradoras de la tecnología AV han ignorado en gran medida un cuerpo sustancial
de más de 20 estudios experimentales que han intentado
subsubstantithetheeducationvalueofAVtechnology.Acasualreviewof these estudios
sugieren que sus resultados han sido, como Gurka [7] acertadamente lo
pone,'marcadamente mezclado'. De hecho, si bien algunos de los estudios han
demostrado una ventaja pedagógica para los estudiantes que utilizan tecnología AV
(por ejemplo, [13,14]), otros no han encontrado ninguna ventaja (por ejemplo, [15,
16] Capítulo 2), o b) una ventaja que sólo puede atribuirse parcialmente a AV
tecnología (por ejemplo, [17]).
Si bien los educadores de informática y los críticos de tecnología tienden a ver los
resultados "marcadamente mixtos" de estos estudios como una razón para no
adoptar la
Tabla 1. Las dimensiones descriptivas de las ocho taxonomías existentes de AV y
visualización de software
SVtaxonomy Dimensiones descriptivas
Myers [54] Aspecto (código, datos, algoritmos) Formulario (estático,

animado)
Shu [55] Whatisvisualized (datos o información sobre datos, programa
y/o ejecución, diseño de software)
Marrón [56] Contenido (directo, sintético) Persistencia (actual, historial)
Transformación (incremental, discreta)
Stasko y Patterson [57] Automatización de la animación de abstracción de aspectos
Singh y Chignell [58] Whatisvisualized (programa, algoritmo, datos) Formulario
(estático, dinámico)
Kraemer y Stasko [59] Tarea de visualización (recopilación de datos, análisis de datos,
almacenamiento, visualización)
Propósito de visualización (depuración, evaluación u
optimización del rendimiento, visualización del programa)
Romano y Cox [60] Presentación de la interfaz de la abstracción de alcance speci-

cationmethod
Precio etal. [18] Método de formulario de contenido de ámbito Interacción
estamos dispuestos a mirar por debajo de la superficie de 'marcadamente
mezclado', hay lecciones más profundas que aprender de los estudios de tendencias
en estos estudios. Sin embargo, como acabamos de señalar,las revisiones existentes
de la tecnología AV han descuidado analizar sistemáticamente este cuerpo de
estudios AVempirical con el propósito de obtener más información
sobreAVe¡ectiveness.
En este artículo, nuestro objetivo es esta brecha en la investigación mediante la
presentación de un meta-estudio de estudios experimentales anteriores de
AVe¡ectiveness. Las preguntas de investigación específicas que explorará nuestro
metaestudio incluyen las siguientes
* ¿A qué factores han postulado los estudios en la educación? ¿Ciertos factores
han tenido más impacto que otros? ¿Hay alguna tendencia notable?
* Howhavestudiesde-nedandmeasured'educationale¡ectiveness?' ¿Han encuadre
los resultados en los resultados?
A la luz de nuestras respuestas a esas preguntas, en última instancia, nos interesa
abordar dos preguntas más amplias:
* ¿La tecnología AV es educativamente e-ecttive?
* ¿Cuáles son las instrucciones fructíferas para futuras investigaciones sobre
tecnología atrav y e¡ectatness?
Comenzamos, en la Sección 2, desviando los límites del meta-estudioFthat es
decir, especificando qué investigaciones cae dentro y fuera de su ámbito. La Sección
3brie se da cuenta de los 24 estudios experimentales que forman los datos centrales
de nuestro meta-estudio. En la Sección 4, delineamos los métodos que empleamos
para analizar nuestro corpus de estudios. La Sección 5 presenta los principales
"ndings ofouranalysis". Por último, inSection6, sintetizamos esos "ndings" en un
conjunto de conclusiones y una agenda para futuras investigaciones.
2. Alcance
El enfoque de este meta-estudio es en la e¡ectividad de la visualización del
algoritmo. Adoptamos una de-nición estándar de algorithmvisualization: una
subclase de softwarevisualización [18] relacionada con ilustrar algoritmos
informáticos en términos de sus operaciones de alto nivel, por lo general con el
propósito de mejorar la informática comprensión de los estudiantes del
comportamiento procesal de los algoritmos. La noción de e¡ectiveness, como se
utilizará aquí, se refiere a la unión de seres humanos y tecnología dentro del
contextodeaescenario de uso. Asociado con tal escenario de uso es
(a) un objetivo particular a alcanzar (por ejemplo, 'aprender cómo funciona el
algoritmo de destino');
(b) un individuo o grupo en particular que tenga ese objetivo;
(c) un artefacto de visualización de algoritmo en particular que se dará de alta; y d) un

algoritmo de destino en particular que se visualizará.
En este contexto, e¡ectiveness responde así a la pregunta: ¿Hasta qué punto el

artefacto de visualización del algoritmo ayuda al individuo o grupo a lograr el
objetivo?
2.1. AVEscenarios de uso

Dado que la noción de e¡ectiveness deriva su significado de las peculiaridades de un
escenario de uso, como se acaba de describir, ¿qué escenarios de uso podrían ser el
foco de los estudios de AVe¡ectiveness? Uno de los escenarios originales de AVuse
imaginado por sus pioneros fue la investigación de algoritmos. Por ejemplo, Brown
[2] informa que su sistema BALSA se utilizó para analizar una
novela,stableversionofMergesort.However,sincesuchscenarios have been widely
reported, and as we is deaware of e¡ectiveness studies of such scenarios, we we not
focus on them in them in este meta-estudio. Más bien, nuestro enfoque se centrará
en escenarios de uso de AV dentro de la educación en ciencias de la computación.
De hecho, la tecnología AV ha visto con mucho su mayor usodentro de la educación
en ciencias de la computación,yescenarios educativosde usohansidobyfar el más
ampliamente estudiado.
La Figura 1 presenta una taxonomía de escenarios de uso dentro de la educación
en ciencias de la computación. Cada uno de estos escenarios bien establecidos
distingue un uso educativo de la tecnología AV:
* Conferencias. En las aulas de secundaria y las conferencias universitarias, los
instructores de informática utilizan representaciones gráficas para ayudarles a
explicar aspectos de los algoritmos en estudio (véase, por ejemplo, [2, Apéndice
A,19]). Como gurka y Citrin [20] lo ponen de siguiente, AV en conferencias es
esencialmente "una extensión de la pizarra, pero con más capacidades
disponibles" (pág. 183).
Escenarios de uso de AV en la educación
OFF para OFF para OFF para OFF para OFF para OFF para OFF para
Conferen Estudi asign- Clase Labo Oficina Prueb
cias o ments Discusión rator Horas as
Figura 1. Ataxonomía de escenarios de AVuse en la educación
* Asignaciones. Los estudiantes trabajan en las tareas del curso en su propio

tiempo, y los entregan antes de los plazos establecidos. Varios educadores de
ciencias de la computación han descrito su uso de assigments en los que los
estudiantes construyen sus propias visualizaciones de los algoritmos en estudio
[2, Apéndice A; 4, 5]. Goldenson y Wang [21] describen las tareas de los cursos
para las que los estudiantes utilizan el entorno de programación Pascal Genie,
que tiene herramientas SV de diseño y tiempo de ejecución integradas.
* Discusión en clase. Después de completar las tareas en las que construyen sus
propias visualizaciones, los estudiantes podrían usar la tecnología AV para
presentar sus visualizaciones a sus compañeros de clase e instructor para
comentarios y discusión [5]. En tales escenarios, la tecnología AV sirve tanto para
permitir una mayor participación de los estudiantes en la clase, como para
mediar en la interacción alumno-instructor.
* Laboratorios. En los laboratorios AV, los estudiantes exploran de forma
interactiva algoritmos y estructuras de datos a través de ejercicios de laboratorio
estructurados [8]. Al igual que las tareas, las sesiones de laboratorio tienen un
objetivo concreto, plasmado en una asignación entregable. Sin embargo, a
diferencia de las asignaciones, los laboratorios están limitados tanto por una
ubicación (un laboratorio que contiene estaciones de trabajo gráficas) como un
bloque contiguo de tiempo (una sesión o una sesión).
* Estudio.Los estudiantes inscritos en cursos de ciencias de la computación tienen
la oportunidad de estudiar para las pruebas en cualquier momento. Dependiendo
de sus preferencias individuales, los estudiantes pueden optar por
alistarAVintheirstudymediantelando sus propios visualizaciones, examinando
copias duras de visualizaciones construidas por otros (profesores o autores de
libros), o utilizando software AV interactivo para que tienen acceso.
*
O-cehours. En los cursos universitarios, profesores y
teachingassistantsprogramar horas semanales, durante los cuales los estudiantes
que necesitan ayuda pueden visitarlos. En esta configuración, los instructores
pueden usar AV para ayudarlos a diagnosticar errores en los programas de los
alumnos [20], o para ayudarlos a responder las preguntas de los alumnos. En este
último caso, AV desempeña un papel explicativo, similar a su papel en las
conferencias.
* Pruebas. En condiciones cerradas de toma de pruebas, se puede utilizar AV para
ayudar a plantear preguntas. Por ejemplo, Brown ([2, Apéndice A]) informa que
los exámenes en los cursos de algoritmos de BrownUniversityoften incluyeron
animaciones de algoritmos discutidas en la clase;se le pediría a los estudiantes
que 'nombre-ese-algoritmo', al igual que los estudiantes en una clase de historia
del arte podría seraskedtoidentificarpinturas. Alternativamente,
onecanimagineatestquestionque tiene studentsto indicar el comportamiento de
un algoritmo dibujando una serie de instantáneas de estructura de datos.
2.2. Técnicas de investigación AV

Los escenarios de uso anteriores proporcionan un punto focal para un cuerpo de
investigación con un interés comúnenelestudio, evaluacióny, en última instancia,
mejorar la e¡ectivenessofAV technology. La Figura 2 presenta una taxonomía de las
técnicas generales de investigación que este cuerpo de investigación ha empleado:
* Las técnicas anecdóticas tienen como objetivo atraer la intuición de los lectores
presentando casos y ejemplos de uso del sistema AV, como relatan los autores
del sistema. Casi cada artículo y artículo que informa sobre un nuevo sistema AV
incluye este análisis.
* Las técnicas programáticas utilizan los programas reales necesarios para producir
visualizaciones dentro de un sistema AV determinado como base para la
evaluación. Por ejemplo, Cox y Roman [22] evalúan su sistema Pavane sumando
el número de líneas de código que
Técnicas de investigación utilizadas para evaluar la eficacia del AV
Anecdotal Programático Analítica Empírica
Figura 2. Métodos de ataxonomía para evaluar AVe¡ectiveness
para especificar una visualización dentro del sistemaFthe menor ese número,
mejor.
* Las técnicas de evaluación analítica (por ejemplo, [23, 24]) tienen como objetivo
proporcionar una evaluación con principios de la e¡ectividad de un sistema
interactivo, evitando al mismo tiempo la sobrecarga de una extensa recopilación
de datos empíricos. En el caso de la evaluación analítica, se reduce a la usabilidad
Cuanto menos problemas de usabilidad identi-ed, más e¡ective el sistema.
* La evaluación empírica, a diferencia de las otras técnicas, implica la recopilación
de datos realesimplicados entaskswithAVsystems.Ananalysisprocessattempts
para transformar los datos en un conjunto de declaraciones que responden a las
preguntas de investigación planteadas por la evaluación.
En este metaestudio, nos centramos en evaluaciones de e¡ectiveness que

emplean técnicas empíricas. Nuestra posición
esqueempiricaltechniquesareultimatelyla másinformación de las técnicas, porque
están arraigadas en fenómenos observables, y a menudo medibles. Aunque
creemos quelos estudiosqueempleancualquieradelas técnicas empivaempíricas (ver
[25] para una revisión) tienen algo potencialmente importante que decir acerca de
la e-ecttiveness AV, restringimos el análisis en este meta-estudio a aquellos estudios
que utilizan Experimentación. Los experimentos controlados tienen como objetivo
afirmar una relación causal entre factores (es decir, variables independientes) y
medidas (es decir, variables dependientes). Si bien hay muchas variantes en
experimentos controlados, todos los experimentos AV publicados han sido
comparaciones experimentales entre sujetos, en las que dos o más grupos de
participantes utilizan medios alternativos para aprender sobre un algoritmo. Si se
pueden detectar estadísticamente las diferencias entre las actuaciones de los
grupos, los experimentadores pueden concluir que los factores se pueden afinar las
medidas.
Limitamos nuestro alcance a las evaluaciones experimentales por dos razones: la
primera, porque constituyen el subconjunto más grande y maduro de los estudios
empíricos; y segundo, porque la evolución de su diseño revela una evolución en el

pensamiento sobre por qué y cómo la tecnología AV es e¡ective, lo que implica que
podemos obtener una visión considerable al considerar el legado de estos
experimentos en su conjunto.
3. Datos
Los datos de nuestro meta-estudio consisten en 24 estudios experimentales que han
considerado la aVa e¡ectiveness. Hasta nuestro conocimiento, este corpus
comprende cerca de toda la población, si no toda la población, de experimentos
avello publicados. La Tabla 2 proporciona una sinopsis de estos estudios. Para cada
experimento, los factores (variables independientes) aparecen en la columna 2; las
medidas (variables dependientes) aparecen en la columna 3; y un resumen de los
resultados clave del experimento aparece en la columna 4.
Veintidós de los experimentos intentan determinar si varios factores a¡ect
aprendizaje dentro del "estudio" escenario de uso descrito en la Sección 2. En estos
experimentos, el aprendizaje se opera en términos de algún tipo de post-prueba,
que los participantes toman al completar su sesión de estudio. Los otros dos
experimentos [26, 27] consideran escenarios de "asignación" en los que los
participantes utilizan AV para resolver problemas. En estos experimentos, la
resolución de problemas e-cacy se opera en términos de si los problemas se
resolvieron y cuánto tiempo se necesitaba.
La Figura 3 resume los resultados de los 24 experimentos. Como se ilustra en el
gure, los resultados han sido ampliamente dispares. Once de los 24 estudios dieron
como "signi-cant'resultF, es decir, un signo estadístico de la diferencia entre el
desempeño de (a) un grupo de estudiantes que utilizan algún con-guration de
AVtechnology, y (b) otro grupo de estudiantes usando una cono alternativa guración
de la tecnología AV, o ninguna tecnología AV en absoluto. Por ejemplo, Lawrence
[16, Capítulos 6 y 9] encontró, en dos experimentos separados, que los estudiantes
que exploraron animaciones de algoritmos impulsadas por conjuntos de datos de
entrada autoconstruidos puntuados signdsigni-cantlyhigher que los estudiantes que
velaban thesameanimationsdriven bydatasupplied bythe
experimenter,orwhohadnoaccesstosuchanimations. Del mismo modo, Crosby y
Stelovsky [28] encontraron que los estudiantes que interactuaban con una
animación de algoritmo realizaban signi-cantlymejor que los estudiantes que
escucharon una conferencia, y que 'concreto' estudiantes (medidos por el indicador
de tipo Myers-Briggs) bene-ted signi-cantly más de la animación del algoritmo que
los estudiantes 'abstract'. Finalmente, Hansen etal. [14] encontró que los
estudiantes que aprendieron un algoritmo usando su entorno de hipermedia HalVis,
que proporciona a susespectadores con múltiples vistas y los involucra en el diseño
de conjuntos inputdata, predicción interactiva, y queston-answering, signi-cantly
superó estudiantes que aprendieron el mismo algoritmo usando (a) materiales
textuales (Estudio I), (b) una conferencia (Estudio II), o (c) un entorno de animación
de algoritmo de una sola vista convencional sin instalacionesparapredicción
interactiva-respuesta(StudyV). Infollow-upstudies, Hansen etal. [14] Además, los
estudiantes que interactuaron con el conceptual y las vistas detalladas de HalVis

realizaron el signatón mejor que los estudiantes que no tenían acceso a estas vistas
(StudiesVII y VIII).
Por el contrario, un número aproximadamente igual de estudios (10) no tenía un
resultado de signi-cant. En otras palabras, en estos estudios, no se pudo encontrar
estadísticamente signi-cant di¡erences entre el desempeño de (a) grupos de
estudiantes que utilizan alguna sesión de tecnología AV, y (b) grupos de estudiantes
que utilizan cualquiera de las dos alternativas de la tecnología AV , o ninguna
tecnología AV en absoluto. Por ejemplo, Price [26] hizo que dos grupos de alumnos
depuraran un programa 7500 utilizando un depurador con y sin una vista animada.
Encontró nosigni cantdi¡erencesindebugginge-cacyentre los dos grupos. Del mismo
modo, Stasko etal. [15] Dos grupos de estudiantes aprendieron la estructura de
datos del montón de emparejamiento (a) interactuando con animación
analgoritmo, y(b)estudiando materiales textuales. Aunque el grupo de animación
tuvo un mejor rendimiento en una prueba posterior, la di¡erencia no fue
estadísticamente signi-cant. Finalmente, Lawrence [16, Capítulos 4 y 5] comparó el
rendimiento posterior a la prueba de los estudiantes que aprendieron algoritmos
utilizando animaciones con características de representación alternativas: palos
frente a puntos; 9 frente a 24 frente a 41elementos de datos; y etiquetas frente a
sin etiquetas. No encontró señales entre los grupos.
de de clave
acoplada
depuración depuración
posterior a
la prueba
, df-18,
posterior a fueron
la prueba
posterior a fueron
rápida hora de
la prueba
de la lista de la lista
posterior a
de vista sively. hora de
la prueba
de negro posterior a
representación la prueba blancas
algorítmico Superio
r
posterior a
la prueba
selección
Lawrence [16, Capítulo 9] Aprendizaje medio/Nivel de Free-responsepost-test En la prueba libre después de la
participación del alumno (solo Precisión prueba, los participantes que
conferencia frente a conferencia + Precisión posterior a laescucharon la conferencia y vieron
animación de vista pasiva frente a prueba de opciónactivamente la animación con un
conferencia + animación de múltiple/verdadero-falso desempeño frecuente de los
visualización activa mediante la estudiantes que sólo escucharon la
construcción de propios conjuntos de conferencia
datos de entrada)
Crosby y Stelovsky [28] Learningmedium (conferencia vs Mejora previa a posterior a Los participantes que aprendieron con
multimedia) la prueba multimedia ssigni-cantly superaron a
Estilo cognitivo (S/hormigón vs. los participantes que aprendieron a
N/abstracto) través de la lectura Interacción Signi-
Testquestiontype (texto frente a cant entre el estilo cognitivo y el
gráficos) medio de aprendizaje: los
participantes 'S' realizaron signi-cantly
mejor con multimedia
Byrne etal. [17, Estudio I] Learningmedium (animationvs. Precisión posterior a la En las preguntas "duras" posteriores a
sin animación) prueba la prueba, los participantes que vieron
Predicción interactiva (predecir el Precisión de predicción la animación y/o hicieron predicciones
siguiente paso del algoritmo frente a realizaron de forma signi-cantly mejor
ninguna predicción) que los participantes que no lo
hicieron.
Byrne, etal. [17, Estudio II] Igual que el anterior Igual que el anterior Igual que antes, salvo que la di¡erencia
se detectó en las cuestiones
«procesales» posteriores a la prueba,
Pepino [20] Medio de aprendizaje (animación Precisión posterior a la No se encontraron signi-cant
frente a no animación) (Nota: Este prueba di¡erences entre los dos grupos
experimento fue un intento de Grupo de animación parecía estarmuy
mejorar motivado por la animación
el Byrne etal. [17] experimento)
Kann etal. [33] Nivel de participación del alumno Precisión de programación Los participantes que vieron la
(algoritmo del programa frente a Precisión posterior a la animación puntuaron signi-cantly más
algo./construcción de animación vs. prueba alto en la pos-prueba que los
programa algo./view anim. vs. participantes que no vieron
programa algo./view anim./construct Animación
anim.)
clave
de rastreo Número
cer (TPM) resuelto signi-cantly menos
HalVis hipermedia vs. la mejora posterior a

aprendizaje la a los
HalVis hipermedia vs.

aprendizaje a los

aprendizaje
de
resolución) HalVis hypermedia vs
aprendizaje a los

aprendizaje a los
de
de
completo
Quié
n
a
conceptual
Grupos
Conceptual view group signi¢cantly
Hundhausen y Douglas
cing y programación
de-ned)
Jarc interactiva
El grupo de predicción gastado signi-

2 (8% )
Resultado no
significativo
10 (42% )
Resultado significativo
11 (46% )
1 (4%) en el que la
contribución de AV
en la dirección
Figura 3. Resumen de los resultados de los 24 experimentos en nuestro
equivocada
corpus
Dos estudios encontraron un resultado de signi-cant en el que el impacto positivo

de la visualización no pudo ser desenredado de otro factor. En estos estudios, Byrne
etal. [17] encontró que los estudiantes que hicieron predicciones con respecto a los
marcos de animación futuros mientras velaban animaciones de algoritmos
realizaron significación que los estudiantes que no vieron las predicciones de
animaciones o make;sin embargo, los individuales predicciónyanimación no se pudo
desenredar estadísticamente.
Por último,
onestudyyieldeda'negative'resultinwhichstudentswhousedAVtechnology
realmente realizó significa "cantlyworse" que los estudiantes que usaron
herramientas basadas en texto. En particular, Mulholland [27] encontró que, en las
tareas de seguimiento de Prolog, los participantes que utilizaron cualquiera de los
tres trestraficantessolvedsigni-cantlymoreproblemsthanparticipantswhousedTPM,
un trazador gráfico.
4. Método
En el éeld de la psicología, meta-analíticatécnicas (ver,por ejemplo,[29]) se han
desarrollado
parastatisticallyanalyzingabodyofrelatedexperimentalstudieswithsimilarindepende
nt ydependentvariables. El objetivo de estas meta-
analíticastécnicasistoinferinvariant causa-ectrelationshipsbasado en los 'ndings
deun corpus de estudios relacionados. Para doso, un metanálisis estadístico
combina y compara sistemáticamente los estudios para determinar el tamaño y el
nivel de signi-cance de sus variables independientes.
Forexample, con el fin de construir una taxonomía de la función de
tarea'quepuedeguiar el uso e¡ective de la tecnología de la visualización de la
información,Chen y Yu[30]realizar un meta-análisis estadístico de una muestra de
35 estudios experimentales de visualización de la información. Sin embargo, la
diversidad de los estudios en su muestra hace que sea difícil aplicar técnicas
metaanalíticas; en última instancia, se ven obligados a reducir su muestra a seis
estudios suciently homogéneos centrados en las tareas de recuperación de
información. Curiosamente, su análisis determina que las di¡erence individuales
tienen una relación más grande y consistente en el rendimiento humano que la
tecnología de visualización de la información en sí.
Consideramos el uso de técnicas metaanalíticas estadísticas en este meta-
estudio, pero finalmente decidimos en contra de ellas por dos razones. En primer
lugar, al igual que la muestra de Chen yYu, el corpus de estudios experimentales en
los que nos estamos centrando es bastante diverso. De hecho, mientras que
susvariables independientesy dependientespueden
aparecerdesimilarenelsuperficie,las formas en que esas variables son manipuladas
y operativas varían considerablemente. Por ejemplo,
whilesomestudiescomparetheuseofAVtechnologyagainsttheuseofconventionalmat
eriales de aprendizaje convencionales (por ejemplo,15,17,28]),
otroscomparecompetingversions ofAVtechnology (por ejemplo, [16, 31, 32]). Del
mismo modo, mientras que algunos estudios ponen en práctica el aprendizaje en
términos de una prueba posterior que consiste en preguntas de estilo examen (por
ejemplo, [15-17]), otros optan por medir el rendimiento en términos de precisión
en la programación [31, 33], seguimiento [31] y predicción [14,17] tareas. En
segundo lugar, incluso si, al igual que Chen y Yu, pudiéramos encontrar un pequeño
número de estudios su-ciently homogéneos sobre los cuales realizar un meta-
análisis estadístico, no creemos que tal meta-análisis sería informativo. Esto no es
sólo porque la muestra que consideraríamos en última instancia sería pequeña, sino
también porque grandes discrepancias en los resultados de los estudios de nuestra
muestra darían lugar a conclusiones estadísticamente poco informativas.
Por estas razones, creemos que cualquier metanálisis de este corpus de
estudiosdebe una forma aprincipioda de clasificar los estudios en grupos más
pequeños, como que los resultados de cada grupo, cuando se toman como un todo,
son más uniformes. ¿Cuál podría ser la base de una clase tan magistral? Al examinar
los estudios en nuestro corpus, hemos observado (véase también [5]) diesiones
notables en sus opciones de variables independientes (es decir, los factores que
plantean para causar e¡ectiveness) y sus opciones de variables dependientes (es
decir, las formas en que medir la e¡ecttiveness). Por ejemplo, algunos estudios
manipulan las características representacionales de las visualizaciones (por ejemplo,
color, sombreado, geometría), mientras que otros manipulan el nivel de actividad
del alumno (por ejemplo, el alumno visualiza la visualización; el alumno diseña datos
de entrada; el alumno hace predicciones con respecto a estados de visualización
futuros). Asimismo, los estudios miden la e¡ecttiveness en términos de desaering
tipos de adquisición de conocimientoFboth conceptual y procedimental.
El método de análisis que empleamos en este meta-estudio, entonces, implica la
primera clasificación de los estudios de varias maneras de principios basados en sus
variables independientes y dependientes, y luego examinar los resultados de los
estudios con respecto a estas clases. Nuestro análisis de los resultados del estudio
incluye tanto comparaciones cuantitativas de los números de resultados
estadísticos de signi-cant y no signi-cant en clases de estudios opuestos, como
evaluaciones cualitativas de tendencias.
Es importante tener en cuenta que nuestro análisis no hará juicios sobre la validez
de cada experimentoFes, la medida en que se puede confiar en los resultados de
cada experimento. Más bien, haremos la suposición simplificador de que los
resultados de cada experimento en nuestro corpus se pueden confiar
aproximadamente por igual. Si bien los resultados experimentales en los que
basamos nuestros análisis se ven claramente atemperados por la solidez de sus
diseños experimentales, y si bien claramente hay desviaciones en la solidez de los
diseños de experimentos en nuestro corpus, creemos que las diazas son menores .
Por lo tanto, criticar el diseño experimental constituiría, creemos, una distracción
innecesaria de nuestro enfoque en los resultados.
5. Análisis
5.1. IndependentVariables
Comenzamos nuestro análisis examinando las variables independientes de los
estudios, que son los factores que han postulado para causar e¡ectiveness.
Argumentamos que las "di¡erencias de los estudios en variables independientes en
realidad re-ect di¡ect di¡ect más profundas di¡erences en las teorías subyacentes de
e¡ectiveness:thestudies'assumptionsabouthow andwhyAVMightbe e¡ective. En los
estudios de nuestro corpus, la tecnología AV se alista como una herramienta
pedagógica; su objetivo es mejorar el aprendizaje. De ello se deduce que las teorías
de la e¡ecttiveness subyacentes a los estudios en nuestro corpus se corresponden
con teorías alternativas de aprendizaje.
Esta sección comienza presentando las cuatro teorías alternativas adoptadas por
los estudios en nuestro corpus. A continuación, vinculamos cada estudio a una
teoría particular basada en su elección de variables independientes. Después de eso,
evaluamos cuantitativamente la robustez de cada teoríaconsiderando el número de
resultados de signi-cant frente a los resultados no signi-cant de los estudios
asociados a ella. Por último, realizamos una verificación de la realidad de nuestros
ndings evaluando en qué medida los resultados empíricos de las teorías
competidoras realmente apoyan la teoría de que nuestro análisis ha encontrado que
tiene el mayor apoyo. Este análisis de granulado nos permite extraer conclusiones
más des-nitive sobre la solidez de esa teoría.
5.1.1. CuatroTeoríasde la exactitud
Los variados diseños de theAVexperimentalstudiesre avarietyof teorías subyacentes
de la ectividad. Si bien es cierto que se pueden hacer distinciones entre los
fundamentos teóricos de estos estudios, el análisis de pincel amplio presentado aquí
los coloca en cuatro amplios campos teóricos, queetiquetamosEpistemicFidelity,
Dual-coding,IndividualDifferences, y Constructivismo cognitivo. A continuación,
describimos estas teorías; para un tratamiento más completo, véase [5].
EstémicaFidelidad. La teoría de la fidelidad epistémica [5, 34, 35] tiene sus raíces
en un marco epistemológico representativo (véase, por ejemplo [36]), que supone
que los seres humanos llevan en sus cabezas modelos simbólicos del mundo físico,
y que tales modelos simbólicos son la base para todos de su razonamiento y acción.
La suposición clave de la teoría de la fidelidad epistémica, entonces, esesquegrafía
tiene una excelente capacidad para codificar el modelo mental de un experto de un
algoritmo,leadingtotherobust,e-cienttransferofthatmental modeltotheviewer (ver
Figura 4). Por lo tanto, la teoría de la fidelidad epistémica enfatiza el valor de una
buena coincidencia denotación entre la representación gráfica y el modelo mental
del experto. Cuanto mayor sea la ''delity' del partido, más robusta y e-cientisla
transferencia de ese modelo mental al espectador de la visualización, que no-
problematicallydecodifica e interioriza el conocimiento objetivo.
Codificación dual. Basada en la hipótesis integrada de código dual de Mayer y
Anderson ,37, la teoría de la codificación dual procede de la suposición de Paivio
[38] de que 'la cognición consiste en gran parte en la actividad de dos parcialmente
interconectados pero funcionalmente independientes y sistemas» (pág. 308). Uno
codifica eventos verbales (palabras); el otro codifica eventos no verbales
(imágenes). Según la hipótesis de Mayer y Anderson, las
visualizacionesqueencodeknowledge inbothverbal y non-verbalmodes permiten a
los espectadores construir dualrepresentationsinthebrain, y conexiones
referencialesentreesas representaciones. Como consecuencia, estas visualizaciones
facilitan la transferencia de conocimientos de destino de forma más eficiente y
robusta que las dovisualizaciones que no emplean la codificación dual.
IndividualDi¡erences. Un legado de experimentos psicológicos ha intentado poner
en funcionamiento, y comprender mejor, las dificultades individuales en las
capacidades cognitivas humanas y los estilos de aprendizaje (véase, por ejemplo,
[39]). La contribución clave de esta investigación ha sido no sólo una batería de
instrumentos para calificar y clasificar a los individuos a lo largo de varias
dimensiones, sino también resultados empíricos que hacen declaraciones
importantes sobre el rendimiento humano
Algorithms AV
Expert Viewer
Av
Codificar Decodific
ar
Figura 4. Una visión esquemática de la teoría ofestémica de la transferencia de conocimiento
en relación con las di¡erences individuales tan medidas. Así, en el contexto de este
análisis, la teoría de Las dióncias individuales afirma que las diaerencias medibles en
habilidades y estilos humanos conducirán a diaerencias de rendimiento medibles en
escenarios de AVuse. Por ejemplo, dentro del ámbito del modelo de transferencia
de conocimiento de la teoría de la fidelidad epistémica (ver Figura4),
IndividualDi¡erenceswithrespecttolearningstyle(ver, por ejemplo, [40]) podría
permitir que algunas personas descodifican las visualizaciones de manera más
eficiente y robusta que otros individuos.
Constructivismo cognitivo. En lugar de considerar el conocimiento como
representaciones de una realidad objetivaque las personas llevan alrededor en sus
cabezas, el constructivismo cognitivo (véase, por ejemplo [41]) afirma que no hay
conocimiento absoluto. En cambio, sostiene que los individuos construyen su propio
conocimiento individual a partir de sus experiencias subjetivas en el mundo. Al
comprometerse activamente con su entorno, los individuos construyen activamente
nuevos entendimientos interpretando nuevas experiencias en el contexto de lo que
ya conocen.
Tenga en cuenta que el énfasis del Constructivismo Cognitivo en el aprendizaje
activo tiene implicaciones importantes para el uso e¡ective
deAVtechnology.Inparticular,itsuggeststhatindividuos no están de pie para bene-t
de la tecnología simplemente visualizando pasivamente visualizaciones,
nomatterhowhightheleveloftheirepistemic-delity. En su lugar, los usuarios de
tecnología AV deben comprometerse más activamente con la tecnología con el fin
de bene't la mayoría de ella. La tecnología, en este punto de vista, no se ve como un
transportador de conocimiento, sino como una herramienta para la construcción
del conocimiento.
Con el fin de destacar las distinciones clave entre las cuatro teorías que acabamos
de discutir, la Tabla 3 sinuso indica las teorías y el papel que atribuyen a un AV.
5.1.2. LinkingStudiestoTheories
Las variables independientes elegidas por cada uno de los 24 estudios
experimentales resumidos anteriormente, awellastheways inwhichthose those
independentvariables are manipulated, proporcionan información sobre los
fundamentos teóricos de cada estudio. Al examinar la manipulación experimental
de cada estudio, podemos vincularlo a una de las teorías de la
e¡ectivenessjustdiscussed.
La Tabla 4 vincula cada uno de los 24 estudios experimentales con una teoría
subyacente de la e¡ectatness. En cuatro casos [16, Capítulo 5 y 7, 28,14, StudyVI],
un estudio está vinculado a dos teorías subyacentes, porque el estudio de-ned
variables independientes, o realizó manipulaciones experimentales, que fueron
juzgadas para apoyar múltiples teorías subyacentes.
Como indica esta tabla, juzgamos que diez estudios se alineaban con la teoría de
la fidelidad epistémica. Estos estudios manipularon (a) las características de
representación de las visualizaciones o (b) el orden en que se presentan las
visualizaciones. La hipótesis de que estos estudios
Cuadro 3. Yuxtaposición de las cuatro teorías de la e¡ecttiveness

Teoría Sinopsis Papel de AV
Epistémica Los gráficos tienen una excelente capacidad Codificación del

Fidelidad para codificar el modelo mental de un conocimiento
experto, lo que conduce a la transferencia
robusta y eficiente de ese modelo mental a los
espectadores
Codificación Las representaciones con información Codificación del
dual codificada dualmente (por ejemplo, gráficos y conocimiento
texto) promueven la transferencia de
conocimiento más robusta y más importante
individual Las diesiones en las habilidades cognitivas Unspeci-ed, pero
Dierences humanas y los estilos de aprendizaje permiten a 'codificación del
algunos bene-t de SV más que otros conocimiento' en lo
bueno con la teoría
ConstructivismoCompromiso activo con SVenables uno para Recurso para el
cognitivo construir su propio entendimiento conocimiento
Construcción
están postulando es que ciertas características de representación, o ciertos pedidos
de características, promoverán el proceso de decodificación del conocimiento de
manera más robusta y eficiente que otras.
En dos estudios separados, Lawrence [16, capítulos 5 y 7] comparó el e-cacy de
representaciones en las que la información está separada (sólo gráficos) y
doblemente codificada (gráficos y etiquetas textuales). Estos estudios están
claramente inspirados en la teoría de la codificación dual, que sostiene que las
representaciones codificadas dualmente promoverán la transferencia de
conocimiento más robusta y deficiente.
Lawrence [16] y Crosbyand Stelovsky [28] consideraron el impacto de las
habilidades espaciales, las habilidades cognitivas y los estilos de aprendizaje en la
capacidad de aprender de la visualización. Estos estudios estaban claramente en la
teoría de las dióncias individuales.
Finalmente,14 estudios manipularon la forma en que los seres humanos están
comprometidos con su entorno para llevar a cabo alguna tarea para la que se
supone que AV es bene-cial. Al variar principalmente los tipos de actividades y
formas de compromiso, y no la representación,
thesestudiesdemonstratealoyaltytoCognitiveConstructivism,queviewsthebene-ts
ofAVtechnologynoten su capacidad de transferirconocimiento,peroen su la
capacidad de promover la construcción del conocimiento a través del compromiso
activo.
5.1.3. Análisis de grano gruesode la robustez
Dado que cada estudio muestralealtad a una de las teorías de las cuatro teorías?
Para empezar a responder a esa pregunta, la Figura 5 presenta un gráfico de barras
de los resultados experimentales frente a cada una de las cuatro teorías. En este
gráfico de barras, cada estudio experimental es supuesto que tenga el mismo peso.
Thelengthofeachbar correspondentoel número de estudios que han sido guiados
por la teoría correspondiente. La porción de cada barra indica el número de
resultados de la "cantresults" obtenidos en el soporte de la 1 teoría. La barra de
importe es inthusográficamente indicadalaproporción de los resultados que fueron
estadísticamente signi-cant.
Cuadro 4. Los estudios experimentales con respecto a las teorías de la e¡ectatness que
fueron diseñados para apoyar
Fidelidad epistémica Codificación dual individual Constructivismo cognitivo
Dierences
Precio [26] Lawrence Lawrence Stasko etal. [15]
[16, Capítulo 5] [16, Capítulo 5]
Lawrence [16, Capítulo 4.4] Lawrence Crosby y Lawrence [16, Capítulo 6
[16,Capítulo 7] Stelovsky [28]
Lawrence [16, Capítulo 7] Lawrence [16, Capítulo 9]
Lawrence [16, Capítulo 8] Crosby y Stelovsky [28]
Pepino [20] Byrne etal. [17, Estudio I]
Mulholland [27] Byrne etal. [17, Estudio II]
Hansen etal. [14, Estudio Kann etal. [33]

III]
Hansen etal [14, StudyVI] Hansen etal. [14, Estudio I]
Hansen etal. [14 StudyVII] Hansen etal. [14, Estudio II]
Hansen etal [14, StudyVIII] Hansen etal. [14, Estudio IV]

Hansen etal. [14, StudyV]
Hansen etal. [14, StudyVI]
Hundhausen y Douglas [31]
Jarc etal. [32]
Como se ilustra en la Figura 5, el Constructivismo Cognitivo ha sido el más
probado de las cuatro teorías (14estudios),
1 Tenga en cuenta que el estudio que obtuvoNegativosigni-cantresult[27]iscountedasanon-signi-
cantresult en el Epistemic Fidelitybar.

withEpistemicFidelitytheorytrailingclosebehind(10studies), y la teoría de la
codificación dual y la teoría de las diaerencias individuales que se retrasan mucho
más. Por otra parte, tenga en cuenta que los estudios de apoyo al Constructivismo
Cognitivo han obtenido el mayor número (10), y el porcentaje más alto (71%), de
estadísticamente signi-cant di¡erences. Sobre la base de este análisis de pincel
amplio, se puede concluir que el constructivismo cognitivo ha obtenido el apoyo
empírico más consistente.
5.1.4. Análisis de construcción cognitiva más fina

Claramente, la conclusión a la que se llegó en el análisis anterior debe considerarse
tentativa, porque el análisis no tiene en cuenta el caso global de una teoría dada, es
decir, si los resultados del estudio fuera de un campo teórico dado apoyan o
debilitan una teoría dada . Centrándose en el caso delConstructivismo Cognitivo, el
análisis que sigue examina su apoyo a través de todo el corpus de estudios. Como
veremos, este análisis da más credibilidad a la teoría al ilustrar su éxito predictivo
más amplio.
Una suposición importante de la teoría constructivista cognitiva es que la
actividad del alumno importa; se supone que el aprendizaje activo es superior al
aprendizaje pasivo. En lugar de ver pasivamente algoritmovisualizaciones, los
estudiantes activos aumentansu visualización con actividades tales como
* la construcción de sus propios conjuntos de datos de entrada (por ejemplo, [16,
Capítulo 9]);
* hacer predicciones con respecto a estados de visualización futuros (por ejemplo,
[17]);
* programación del
algoritmo de 71 %
destino (por
ejemplo, [33]);
Cognitivo 50 %
Resultado no significativo
50 %
30 %
0 2 4 6 8 10 12 14 16
Resultados experimentales
Constructivismo
individual
Diferencias
Codificación dual
Epistémica
Fidelidad
Figura 5. Resultados experimentales con respecto a la teoría de la e¡ectatness. Número total de

experimentos (altura de la barra hueca), número de experimentos que producen resultados de signi-
cant (altura de la barra de "lled") y porcentaje de experimentosyieldsyieldingsigni-cantresults
(proportionofhollowbarthatis-lled-in)ineachoffourgeneral categorías de experimentos, clasificados
por su teoría subyacente de la e¡ectiveness
* responder preguntas estratégicas sobre la visualización (por

ejemplo, [14]); y * la construcción de sus propias visualizaciones (por
ejemplo, [31]).
En la visión de Constructivista Cognitivo, entonces, la tecnología AV es vista como

educativamente e-e-ective en la medida en que involucra activamente a los
estudiantes en tales actividades.
Dada esta.una pregunta obvia surge: ¿La forma precisa del activitymatter? En
otras palabras, ¿algunas actividades son mejores para promover el "aprendizaje
activo" que otras? La posición de Constructivista Cognitivo es que, mientras la
actividad del alumno sea sobresaliente al conocimiento o habilidad objetivo, el e¡ort
requerido para participar en la actividad es más importante que su forma real. Por
lo tanto, asumiendo la misma importancia, la teoría Constructivista Cognitiva
predicería que cuanto más e¡ort se requiere para participar en la actividad, más
robusto el aprendizaje.
Aplicando este razonamiento a las comparaciones experimentales controladas,
creemos que el constructivismo cognitivo predice una ventaja educativa sólo en los
casos en que la actividad de un grupo de tratamiento es más favorable que la del
otro grupo o grupos de tratamiento. Por el contrario, si la actividad de todos los
grupos de tratamiento es más o menos equivalente en términos de e¡ort necesario,
entonces la teoría no predice ninguna di¡erence de aprendizaje.
Para seguir examinando la solidez del Constructivismo Cognitivo, podemos
examinar los resultados de los 24 experimentos en nuestro corpus con respecto a la
equivalencia de la e¡ort necesaria para realizar las actividades en sus grupos de
tratamiento competidores. Como primer paso, debemos juzgar la equivalencia de la
e¡ort necesaria para realizar las actividades en grupos de tratamiento competidores
(ver Tabla 5). Si, en un experimento dado, las actividades de aprendizaje de la
competencia requieren una e¡ort cognitiva más o menos equivalente, las
clasificamos como 'equivalentes'. Por ejemplo, juzgamos que ver dos visualizaciones
alternativas [16, Capítulo 4.4] requiere aproximadamente equivalente e¡ort. Del
mismo modo, estimamos que los ejercicios de resolución de problemas de papel y
lápiz requieren un equivalente aproximadamente al de interactuar con el sistema
hipermedia HalVis [14, Estudio III], que involucra a los usuarios en la resolución de
problemas equivalentes
Tabla 5. Classi-cation de experimentos basados en la equivalencia de la e¡ort necesaria para
realizar las actividades en grupos de tratamiento competidores
Equivalente de E'ort E¡ort no equivalente
Precio [26] Stasko etal. [15]

Lawrence [16, Capítulo 4.4] Lawrence [16, Capítulo 6]
Lawrence [16, Capítulo 5] Lawrence [16, Capítulo 9]
Lawrence [16, Capítulo 7] Crosby y Stelovsky [28,]
Lawrence [16, Capítulo 8] Byrne etal. [17, Estudio I]
Pepino [20] Byrne etal. [17, Estudio II]
Mulholland [27] Kann etal. [33]
Hansen etal. [14, Estudio III] Hansen etal. [14, Estudio I]
Hansen etal. [14, StudyVII] Hansen etal. [14, Estudio II]
Hansen etal [14, StudyVIII] Hansen etal. [14, Estudio IV]
Hansen etal. [14, StudyVII]
Jarc etal. [32]
Actividades. Si, por el contrario, existe una diferencia notable en los niveles e¡ort
requeridos para participar en los grupos de tratamiento competidores de un
experimento determinado, clasificamos el experimento como 'E¡ort no
equivalente'. Por ejemplo, a nuestro juicio, la lectura de materiales textuales, la
escuchauna conferencia, y pasivaviewingavisualization todos requieren
notablemente indiferente e¡ort que el uso activo de una visualización en conjunto
con algún tipo de ejercicio de aprendizajeF forexample,prediction
[17,32],inputdataselection[16,Chapter9], o programación[33].
Una implicación importante del Constructivismo Cognitivo es que los
experimentos calificados como 'E¡ort no equivalente' mostrarán una ventaja de
aprendizaje signi-cant para el grupo más e¡ortful. Por el contrario, la teoría sugiere
que los experimentos calificados como 'E¡ort equivalente' no mostrarán ninguna
signo de voluntad entre los grupos 2 de tratamiento. El siguiente paso en el
análisisesesparaver si estas prediccionessonrealmente se han confirmado. Bajo la
suposición de que cada estudio experimental tiene el mismo peso, la Figura 6 lleva
2 Por supuesto, estas predicciones suponen que los materiales de aprendizaje de un experimento
están bien diseñados ysuficiente información para permitir que los participantes se den bien en la
prueba posterior. De hecho, si los materiales experimentales sonFpor ejemplo, si la animación del
algoritmo está mal diseñada o carece de información necesariaFentonces ninguna cantidad de e¡ort
es probable que lead a una di¡erencia de aprendizaje medible.
a cabo este paso trazando el número de resultados y los resultados de signi-cant con
respecto a la 'E¡ort no equivalente/Equivalente de E¡ort equivalente'classi-cation
presentado en el Cuadro 5. En seis de los nueve estudios en los que las actividades
del grupo de tratamiento competidor requerían aproximadamente equivalentes, no
se encontraron resultados de signi-cant. Por el contrario,inten de los 14 estudios en
los que uno de los grupos de tratamientorequerido más,elgrupo
expendingthehigherlevelofe¡ortsigni-cantlyoutperformedel otro grupo. Estos
resultados concuerdan razonablemente con las predicciones de la teoría. En el caso
de los estudios 'E¡ort equivalentes', el Constructivismo Cognitivo predice el 67% de
los resultados. En el caso de los estudios 'E¡ort no equivalentes', el Constructivismo
Cognitivo predice el 71% de los resultados.
Esfuerzo no
Equivalente
Esfuerz
Equivalente
o
Resultado no
significativo
0 2 4 6
Figura 6. Resultados de estudios experimentales con actividades e¡ort classi-cation de la Tabla 5
Este nding cuantitativo se refuerza aún más al contrastar dos estudios clasificados
como 'E¡ortequivalent'conestudiosclassi-edas'e¡ortnotequivalent de manera
similar. Gurka[20] intentó replicar uno de los experimentos deByrneetal. [17],que
obtuvo un signi-cantresultinfavorofparticipants que hizo
predictionsandviewedananimation. Sin embargo, Gurka eliminó las condiciones de
predicción de su experimento, optando en su lugar por comparar a un grupo de
participantes que utilizaron una animación contra un grupo de participantes que no
lo hicieron,withnosubstantialdi¡erencesinthegroups'levelsofengagement.
Ambosgruposdeparticipantes,por ejemplo,comprometidosenestudiospartof su
sesión de aprendizaje. Como lo predijo la teoría del Constructivista Cognitivo, la
ecualización de facto de Gurka de las actividades de los participantes condujo a un
resultado no signi-cant.
Del mismo modo, inaseriesofstudies,Hansenetal.
[14]foundthatparticipantswhousedtheir HalVis entorno multimedia, que
activamente involucra a sus usuarios haciendo que construyan sus propios
conjuntos de datos de entrada, respondan preguntas y hagan predicciones, con el
desempeño signi-cantly de los participantes que aprendieron de materiales
textuales (Estudios I y II), y se ha visto una conferencia (Estudio IV). En uno de sus
estudios (Estudio III), sin embargo, los investigadores intentaron
igualarlaslasactividadesdeTheHalVisytext-onlygroupsbyhavingstudents inthetext-
onlygroupnotonlyreadarticlesonalgorithm,but también completeaseriesof paper-
and-pencil Ejercicios. Como lo predijo la teoría del Constructivista Cognitivo, la
decisión de los investigadores de involucrar a los participantes de sólo texto tan
activamente como los participantes en el grupo HalVis llevó a su fracaso de la
diferencia de la firma entre los resultados de aprendizaje de los dos grupos.
En resumen, nuestro análisis de granulado muestra que el constructivismo
cognitivo predice no sólo el mayor porcentaje de resultados de signi-cant (77%), sino
también una mayoría (60%) de los resultados no signi-cant. Este análisis da más
credibilidad a nuestra conclusión de grano grueso de que la teoría constructivista
cognitiva es la más robusta. Por el contrario, la teoría de la fidelidad epistémica ha
tenido el éxito menos predictivo, después de haber predicho sólo el 30% de los
resultados de signi-cantresults, conotrasfirmi -
cantresultrunningcompletelycountertotheory's predictions. Por
último,duetolownumbersofsupportingstudies,itisfairtosaythatthejury todavía está
fuera en la codificación dual y las teorías de Di¡erences individuales.
5.2. DependentVariables
Ahora pasamos a un análisis de las variables dependientes de los estudiosFes que
es, las formas en que han medido la e¡ecttiveness. Los dos estudios en nuestro
corpus que examinaron escenarios de "asignación" midieron la e¡ectiveness en
términos del éxito de los participantes en la resolución de depuración y
rastreoproblemswiththehelpofAVtechnology[26,27]. Ninguno de estos
experimentos produjo un signi-cantresult. Un estudio de las variables dependientes
de los 22 estudios sugiere que miden formas de las maneras notablemente
similares. De hecho, todos estos experimentos eligieron medir la e¡ectatness en
términos de adquisición de conocimiento. La hipótesis subyacente era que la
manipulación experimental llevaría a algunos tratamientos experimentales a
adquirir conocimiento objetivo más sólidamente que otros.
En la inspección más cercana de los
22estudiosquemeasuree¡ectivenessintermsofknowledge adquisición, no
encontramos diferencias notables tanto en términos de lo que miden, y cómo lo
miden. A continuación, investigamos estas dos diesiones clave, en un intento de
determinar si ciertas opciones de variables dependientes han llevado a un mayor
éxito en la detección de di¡erences de aprendizaje.
5.2.1. DierencesinWhatKnowledgeisMeasured
La primera diferencia notable entre las variables dependientes de los estudios reside
en los tipos precisos de conocimiento que intentan medir. De acuerdo con los
exámenes universitarios típicos en ciencias de la computación, los estudios han
tenido como objetivo medir dos tipos distintos de conocimientos:
* conceptual o declarativaComprensi de las propiedades abstractas de un
algoritmo, por ejemplo, su ciencia de Big-O, su rango de salida o límites en los
datos de entrada que puede procesar. Una pregunta de prueba de ejemplo
podría ser '¿Cuál es la peor de las cuestiones del algoritmo?'
* proceduralFan comprensión del comportamiento procedimental, paso a paso de
un algoritmo, es decir, cómo funciona en un conjunto de datos de entrada. Una
pregunta de prueba de ejemplo puede implicar el seguimiento de las variables de
clave y las estructuras de datos de un algoritmo para un conjunto determinado
de datos de entrada.
Es importante señalar que estas dos formas de conocimiento no son
necesariamente distintas. Con frecuencia, se necesita un alto nivel de conocimiento
conceptual para poder entender el comportamiento procesal de un algoritmo.
Forexample,inorder tounderstand how theQuicksort algorithmworks,one
needsaconceptualunderstandingofrecursion. Por el contrario, entender las
operaciones de procedimiento puede ayudar con las preguntas conceptuales. Por
ejemplo, comprender el patrón de la estrategia de división y conquista de Quicksort
puede dar una idea de la eficiencia del algoritmo.
En el Cuadro 6 se clasifican los 22 estudios de medición de conocimientos en
función de si sus instrumentos de evaluación prueban (a)
conceptualandproceduralknowledge, (b) conceptualknowledgeonly o (c)
proceduralknowledgeonly. (Tenga en cuenta que algunos estudios incluyen
múltiples medidas dependientesque prueban más de una de estas combinaciones.
Estos estudios se enumeran varias vecesFonce para cada combinación respectiva.)
Dado que la mayoría de las visualizaciones se centran en el comportamiento
procedimental de un algoritmo, no es de extrañar que la mayoría de los estudios
hayan intentado medir el conocimiento procesal por sí solo. Por la misma razón,
sólo un pequeño número (3) de los estudios han medido el conocimiento conceptual
por sí solo. Nueve estudios han forjado un punto medio midiendo ambas formas de
conocimiento.
Bajo el supuesto de que cada estudio experimental tiene el mismo peso, la Figura
7 lleva el análisis más adelante presentando gráficamente el número de resultados
de signi-cant y no-signi-cant frente a las tres clases de experimentos categorizados
en la Tabla 6. Como se ilustra en el gure, las tres medidas de conocimiento
obtuvieron niveles comparables de
Cuadro 6. Classi-cation de estudios experimentales basados en el tipo de conocimiento
necesario para responder a las preguntas en sus instrumentos de
evaluación
Conceptual y procesal Sólo conceptual Sólo procesal
Stasko etal. [15] Lawrence [16, Capítulo 7] Lawrence [16, Capítulo 7]

Lawrence [16, Capítulo 4.4] Lawrence [16, Capítulo 9] Lawrence [16, Capítulo 8]
Lawrence [16, Capítulo 5] Byrne etal. [17, Estudio II] Crosby & Stelovsky [28]
Lawrence [16, Capítulo 6] Kann etal. [33]
Lawrence [16, Capítulo 9] Byrne etal. [17, Estudio I]
Pepino [20] Byrne etal. [17, Estudio II]
Kann etal. [33] Hundhausen y Douglas [31]
Jarc etal. [32] Hansen etal. [14, Estudio I]

Hansen etal. [14, Estudio II]
Hansen etal. [14, Estudio III]
Hansen etal. [14, Estudio IV]
Hansen etal. [14, StudyVI]
Hansen etal. [14, StudyVII]
Hansen etal. [14, EstudioVIII]
Nota:Algunos estudios están listados más queunavez,porquehay otros instrumentos de
medición múltiples.
Procedimiento
67 %
solam
ente
Conceptual Resultado significativo

67 %
solam
Resultado no sigífiante
ente
Conceptual
Y 38 %
Procedimiento
0 2 4 6 8 10 12 1416
Figura 7. Resultados experimentales con respecto al tipo de conocimiento probado
apoyo; ninguna medida parece ser más sensible al aprendizaje de las e¡ects que
cualquier otra. Dado que las visualizaciones de algoritmoilustran el comportamiento
procedimental de los algoritmos, es quizás sorprendente quedos de los tres estudios
que midieron el conocimiento conceptual obtenido exclusivamente signi-
cantresults. Sin embargo, el tamaño de la muestra (3) es claramente demasiado
pequeño para extraer conclusiones generales.
Oftheothertwoknowledgemeasurements,proceduralknowledgeonlyappearstoha
vebeen more sensitive to learning di¡erences than
conceptualandproceduralknowledge, aunque este resultado esdi-cult para
interpretar. Se podría especular que la parte conceptual de la conceptual y
procesaltestsiswhatdiminishedtheirsensitivity. Si eso fuera así, esperaríamos que las
pruebas sólo conceptuales fueran aún menos sensibles que las pruebas de
procedimiento y conceptuales. Sin embargo, no es así. De hecho, nos da cuenta de
que la combinación de los resultados conceptuales-sólo con los resultados
conceptuales y-procesales aumenta tually la sensibilidad general deconceptual-y-
proceduralteststos45(-ve de the11signi-cantresults). A pesar de estos resultados
inconsistentes, las preguntas de las pruebas de procedimiento todavía parecen ser
algo más sensibles a las preguntas educativas de AVtechnology que a las
conceptuales.
5.2.2. DierencesinHowKnowledgeAcquisitionisMeasured
La metodología empleada para medir la adquisición de conocimientos constituye la
segunda di¡erencia notable en las variables dependientes de los estudios. En trece
de los 22 estudios (véase el Cuadro 7), una prueba posterior diseñada para medir la
adquisición de conocimientos constituyó la única base de medición. Las
puntuaciones posteriores a la prueba constituían los datos que se analizan
estadísticamente. Por el contrario, los otros nueve estudios (véase la Tabla 7)
dierona los participantes tanto una prueba previa como una pruebaposterior. En
estos estudios, la mejora previa a la prueba fue la base de los análisis estadísticos.
AsFigure8illustrates,theresultsofexperiments empleando estas técnicas de
medición de dos alternativas descripción notablemente. Siete de 13 (54%) de los
estudios que se midieron el aprendizaje utilizando una sola prueba posterior
encontró una diferencia estadística entre los grupos detratamiento. Por el contrario,
siete de los nueve (78%) los estudios que midieron el aprendizaje basado en la
mejora previa a la post-prueba encontraron estadísticamente signi-cant di¡erences.
En la interpretacióndethe78%successrateofpre-topost-
testimprovement,oneshouldkeepinmindit se basa casi en su totalidad en el trabajo
de una sola línea de estudios. Sin embargo, dada la desviación en las tasas de éxito,
uno puede concluir con cautela lamejora antes a después de la prueba puede ser
más sensible al aprendizaje de lasdesviaciones de aprendizaje que el simple
rendimiento posterior a la prueba.
Cuadro 7. Classi-cation de estudios experimentales basados en su método de medicióndel

aprendizaje
Sólo después de la prueba Mejora previa a posterior a la
prueba
Stasko etal. [15] Crosby y Stelovsky [28]
Lawrence [16, Capítulo 4.4] Lawrence [16, Capítulo 5]
Lawrence [16, Capítulo 5] Hansen etal. [14, Estudio II]
Lawrence [16, Capítulo 6] Hansen etal. [14, Estudio III]
Lawrence [16, Capítulo 7] Hansen etal. [14, Estudio IV]
Lawrence [16, Capítulo 8] Hansen etal. [14, StudyV]
Lawrence [16, Capítulo 9] Hansen etal. [14, StudyVI]
Pepino [20] Hansen etal. [14, StudyVII]
Kann etal. [33] Hansen etal. [14, EstudioVIII]
Byrne etal. [17, Estudio I]
Byrne etal. [17, Estudio II]
Jarc etal. [32]
Pre- una Post- Resultado significativo

Prueb Resultado no
a
Mejora significativo
Post-Prueba
solam
ente
0 2 4 6
Figura 8. Resultados experimentales con respecto a dos métodos alternativos para evaluar el
aprendizaje
Ver estos resultados a la luz de las predicciones del constructivismo cognitivo da

más credibilidad a este "nding". Sólo dos estudios experimentales [14, Estudios
IIIandVI] que midieron la mejora antes a después de la prueba en realidad no
lograron obtener una di¡erencia de signo. De esos dos estudios, el constructivismo
cognitivo habría predicho sólo uno de los estudios a la diferencia de la firma entre
los grupos de tratamiento. Por lo tanto, de acuerdo con el constructivismo cognitivo,
la medida de mejora antes a después de la prueba falló una sola vez. Por el contrario,
la medida posterior a la prueba sólo falló tres veces. De hecho, de los seis estudios
"sólo post-prueba" que no pudieron encontrar una diferencia de signi-cant, el
constructivismo cognitivo habría predicho que tres [15, 31, 32] hubieran encontrado
una signi-cant di¡erence.
6. Conclusiones
En este artículo, hemos presentado una revisión integradora de los estudios
empíricos de la visualización de algoritmos e¡ectiveness, con el fin de descubrir
tendencias en la investigación que podrían ayudarnos a entender mejor cómo y por
quéLatecnología es e¡ective. El enfoque de nuestra revisión ha sido en una clase
particular de estudios empíricos: experimentos controlados de tecnología AV en
escenarios educativos de uso. Hemos realizado dos análisis separados de 24
estudios experimentales de este tipo. Nuestro primer análisis examinó sus
resultados frenteasus variables independientes en un intento de comprender mejor
qué factores han causado más consistentemente e¡ectiveness. Por el contrario,
nuestro segundo análisis examinó los resultados de los estudios con respecto a sus
variables dependientes, enordento entenderbothhowe¡ectivenesshasbeende-ned,
y qué medidas son más capaces de detectarlo. ¿Qué hemos aprendido exactamente
de la revisión y el análisis de nuestro metaestudio? Concluimos revisitando nuestras
cuatro preguntas de investigación originales a la luz de nuestros resultados.
6.1. ¿Qué factores han tenido el Impacto Most en La e¡ecttiveness?

Cuatro teorías generales de la e¡ectividad, que abarcan suposiciones
epistemológicas sobre el conocimiento y su relación con un AV, han sido aceptadas
bsu muestra de estudios experimentales: Fidelidad epistémica, Codificación
dual,Di¡erences ind ividuales, y constructivismo cognitivo. Con mucho, el mayor
número de estudios se ha guiado por la fidelidad epistémica o el constructivismo
cognitivo. Las otras dos teorías, Dualcoding y Individual Di¡erences, no han sido
exploradasa fondo lo suficientemente exhaustivamentecomo para extraer
conclusiones desenjitorias. Como indica nuestro análisis de grano grueso, las
manipulaciones experimentales de las actividades de los estudiantes de AV,
indicativas de la adhesión a la teoría constructivista cognitiva, han tenido un
impacto más preciso yde signo en las variables dependientes de experiments que
han manipulado experimentalmente la aVrepresentación, indicativa de la adhesión
a la teoría de la fidelidad epistémica. Además, un análisis dela participación de los
grupos participantes con respecto a los resultados experimentales across todos los
experimentos corrobora aún más el impacto pedagógico del uso de la tecnología AV
para involucrar activamente a los estudiantes en su propia Aprendizaje. Por lo tanto,
de acuerdo con nuestro análisis, cómolosestudiantes utilizanla tecnología AV, en
lugar de lo que ven los estudiantes, parece tener el granimpacto más en
laeducación.
6.2. ¿Qué medidas han sido más sensibles a la exactitud?

Veintidós de los 24 estudios en nuestro corpus operacionalizan la e¡ecttiveness en
términos de conocimiento conceptual, conocimiento procesal, o ambos. Un
análisis de los resultados rimentales expebasadoeneneltipodeconocimiento
medidosugiere que el conocimiento procesalmayserveasa medida más sensible de
los bene-ts de AVtechnology que del conocimiento conceptual. Tomamos consuelo
en el hechode que esto de los estudios no-experimentales no-
experimentalesdesno noincluido en nuestro corpus (por ejemplo, [42]).
Una inspección más detallada de las variables dependientes de los estudios
sugiere que han medido el conocimiento utilizando dos técnicas di¡erent: solo el
rendimiento posterior a la prueba, y la mejora previa a la post-prueba Suponiendo
que realmente exista un aprendizaje entre eltratamiento grupos, nuestro análisis
sugiere que la mejora antes a después de la prueba será más probable que se nd un
comportamiento de este tipo que el rendimiento posterior a la prueba solo. Es
importante calificar este número de dos maneras. En primer lugar, es sesgado enla
sensación deque se basa en gran medida en los resultados deuna línea de estudios
particular [14]. En segundo lugar, creemos que la medición de la mejora previa a
posterior a la prueba introduce un problema metodológico que no ha sido abordado
por los estudios que lo emplearon: La prueba previa puede dar a los participantes
conocimiento del algoritmo objetivo fuera del condición de tratamiento. Por lo
tanto, creemos que los estudios que utilizan este método para medir la e¡ectiveness
necesitan abordar esta cuestión metodológica.
Por último, sería deremis nodesesperarnos de que nuestras conclusiones se
limiten en que se basan en un corpus de estudios que consideraron una gama
extremadamente limitada de variables dependientes. Algunos estudios emplearon
medidas alternativasF,por ejemplo, el tiempo dedicado al aprendizaje [32], el
tiempo dedicado a tomar la prueba [31] y el éxito en cuestiones gráficas frente a
preguntas textuales [28]. En general, sin embargo, los estudios en nuestro corpus
operacionalizaron el aprendizaje en términos de conocimiento conceptual y
procesal unacquisición.
6.3. ¿Es avTechnology E¡ective?

Claramente, las respuestas a las dos preguntas anteriores proporcionan un telón de
fondo para abordar la importante pregunta de si la tecnología AV es educativamente
e-ecttive. A la luz de nuestro meta-estudio, nuestra respuesta a esta pregunta
tendría que ser un "sí" quali-ed. ¿De qué manera es
AVtechnologyeducationally¡ective, y de qué manera no es educativamente
e¡ective?
Comencemos con las formas en que no es e¡ective. Con pocas excepciones,
encontramos quelos estudios en los que los estibantssimplemente velaban
visualizaciones no demostraban ventajas de aprendizaje signi-cant sobre los
estudiantes que usaban materiales de aprendizaje convencionales. Tal vez contraria
a la sabiduría convencional, esta observación sugiere que la mera presencia
deAVtechnologyFpormuy biendiseñadas e informativas que las representaciones
visuales que presenta pueden parecerQueFhace no garantizar que los estudiantes
aprenderán un algoritmo. Para afirmar esto en términos de la teoría del aprendizaje
(Fidelidad Epistémica) subyacente a esta forma de tecnología AVuse, nuestras
"ndingssuggestthatalgorithmvisualizations" no simplemente transfieren un
algoritmo experto modelofan mental al cerebro de un estudiante. Aplicaciones
infructuosas de la tecnología AV, algo más parece estar sucediendo.
En particular, nuestro meta-estudiosugiere que los ucationaluses más exitosos de
latecnología AV son aquellos en los que la tecnología se utiliza como un vehículo
para involucrar activamente a los estudiantesen los processoflearningalgorithms.
Porejemplo,aswehaveseen,AVtechnology se ha utilizado con éxito para involucrar
activamente a los estudiantes en
*análisis de comportamiento algorítmico (por ejemplo, [16,
Capítulo 9]); * ejercicios de predicción (por ejemplo, [17]) y *
ejercicios de programación (por ejemplo, [33]).
Tenga en cuenta que, en tales casos, en lugar de ser un instrumento para la

transferencia de conocimientos, la tecnología AV sirve como catalizador para el
aprendizaje. Para afirmar esto en términos de la teoría del aprendizaje
(Constructivismo Cognitivo) subyacente a esta forma de uso de la tecnología AV,
nuestros resultados sugieren que las visualizaciones de algoritmos son
educativamente e-ective en la medida en que permiten a los estudiantes construir
su propia comprensión de los algoritmos a través de un proceso de aprendizaje
activo.
En conjunto, nuestro meta-estudio sugiere que la tecnología AV es
educacióntodoye¡ective, pero no de la manera convencional sugerida por el viejo
proverbio "una imagen vale 1000 palabras". En lugar de nuestros "ndings", la forma
del ejercicio de aprendizaje inwhichAV technology is us ingites is actually más
important than the quality of the visualizations produced by
AVtechnology.ThisisnottosaythatvisualizationqualitydoesnotmatterFen una
actividad deaprendizaje exitosa, una visualización bien diseñada sin duda
contribuyeF,sino más bien decir que la forma de actividad esmás importante que la
forma de la visualización.
6.4. ¿Qué instrucciones para la investigación futura parecen más

fructíferas?
Por último, nuestros meta-estudios sugieren varias direcciones para futuras
investigaciones sobre la e¡ecttiveness AV. Concluimos destacando lo que
consideramos el más importante de ellos, organizandola discusión sobre los temas
de variables independientes, variables dependientes y ámbito.
6.4.1. IndependentVariables
Como hemos visto, la mayoría de la investigación de AVe¡ectiveness en la última
década ha sido guiada por sólo dos teorías: Fidelidad Epistémica yC constructivismo
ognivo. En aras de obtener una visión más profunda de AVe¡ectiveness, creemos
que la investigación futura haría bien para explorar otras alternativas. Un lugar
obvio para comenzar es con la codificación dual y las disinocencias individuales,
ambos de which ya han obtenido apoyo mediante estudios en nuestro corpus. La
teoría de la codificación dual, de hecho, ha tenido éxito predictivo en un legado
Tabla8. Dos teorías alternativas Ofe ¡ ectivenessthatappear drums promisingavenues for
future research
Teoría Sinopsis Papel de AV
Acción situada AVis un recurso comunicativo Recurso comunicativo similar al

para construir una habla, el gesto y la mirada
comprensión compartida de
los algoritmos
Sociocultural AVenable para participar en Artefactos comunitarios que
Constructivismo una comunidad de maneras conceden
cada vez más centrales acceso a la comunidad central
Actividades
de estudios experimentales que investigan las benes pedagógicas de los
hipermedios instructivos (por ejemplo, [37]); nos interesaría que se siguiera en el
ámbito del AV pedagógico.
Creemos que otra fuente prometedora de inspiración teórica es lainvestigación
antropológica re cent sobre la naturaleza social y situada del aprendizaje y la
comunicación. Al estilo de la Tabla 3 (pág. 33), el Cuadro 8 describe otras dos teorías
generales de la e¡ectatness que provienen de esa línea de trabajo. Basándose en la
Acción Situada Theory (véase, por ejemplo, [43]), Roschelle [35] argumenta quelas
visualizaciones son una de una multitud de recursosmediacionales que ayudan a
grupos de personas a negociar una comprensión compartida de los temas en
estudio. Alternativamente, el constructivismo sociocultural (por ejemplo, [44])
views AVe¡ectiveness a nivel de la comunidad de práctica, en lugar del individuo. En
particular, la tecnología AV es vista como e¡ective en sofarasitprovidesloscon acceso
a los tiposde actividades de expertos que normalmente llevan a cabo los profesores
de algoritmos. Hundhausen [5] utiliza la teoría sociocultural para guiar su estudio
del uso de la tecnología AV en un curso de algoritmos de pregrado.
6.4.2. DependentVariables
Medición de la base de proceduralidad y
conocimientoconceptualintermsoftestperformancehasasolid en la práctica; de
hecho, es la misma medida utilizada en los cursos tradicionales de informática para
evaluar el rendimiento de los estudiantes. Sin embargo, con el fin de obtener una
comprensión más profunda de los beneficios educativos de La aVtechnology, los
futuros estudios empíricos deben, en nuestra opinión, tener el valorde explore
medidas alternativasFpreferiblemente en concierto con las medidas para no
desafiarse de la corriente principal.
Dado que las medidas dependientes de un estudio son una consecuencia lógica
de la teoría del aprendizaje que lo informa, se pueden explorar medidas alternativas
en el contexto de teorías alternativas. En marcado contraste con las teorías de
aprendizaje que en los estudios de nuestro corpus, las dos teorías de aprendizaje
alternativas introducidas anteriormente (verTabla 8) sitúan el conocimiento
notinthehead,butinthebroaderrealms ofsocial interaction(SituatedAction) y la
reproducción comunitaria (Constructivismo Sociocultural). Según estas teorías, la
adquisición de conocimientos individuales no sirve como una medida adecuada de
aprendizaje, que debe medirse dentro delcontexto más ampliode la interacción
social dentro de las comunidades de práctica.
Por ejemplo, la teoría de acción situada recomendaría la evaluación de una
visualización de algoritmo mediante la creación de una situación social en la que dos
alumnos utilizan la visualización para establecer una comprensión compartida del
algoritmo subyacente. Interacción, análisisdeconversaciónse
utilizaríaparadeterminar la extensión quela visualizaciónservesasun recurso de
mediación para los estudiantes. Por ejemplo, Douglas etal. [45] utilizar esta
evaluación measegurar en sus estudios de la humanvisualización de algoritmos de
clasificación.
Del mismo modo, el constructivismo sociocultural recomendaría evaluar una
visualización de algoritmos dentro del ámbito de su uso como artefacto cultural en
una comunidad de práctica como la reproducción en un curso de algoritmos
depregrado. En tal entorno, la e¡ectividad de la visualización se juzgaría de acuerdo
con su capacidad de permitiralearnersgraduallytoparticipar más plenamenteen la
comunidadFthatis,toincreasinglytakeontheiden tityandrolesofthecourseinstructor.
Por ejemplo, dentro del ámbito de un curso de algoritmos de nivel junior,
Hundhausen [5] utiliza técnicas etnográficas de la tecnología de la e¡eld para evaluar
cualitativamente la e¡ectiveness de esta manera.
6.4.3. Alcance
Limitamos intencionalmente el alcance de nuestro estudio aestudio a los estudios
experimentales de AV en escenarios educativos de uso. Al hacerlo, descuidamos
claramente las líneas importantes de trabajo empírico relacionados que son grist
para el análisis futuro. A continuación, describimos tres de los más importantes.
Otrasinvestigaciones. Nuestro meta-estudio se centra exclusivamente en
estudios experimentales de AVe¡ectiveness. Sin embargo, como señalamos en la
Sección 2.2, la experimentación controlada es sólo una de varias técnicas de
evaluación empírica que uno podría utilizar para estudiar AV e¡ectiveness. Otras
cuatro técnicas empíricas relevantes que han sido empleadas por investigaciones
anteriores de AVe¡ectiveness incluyen:
* Pruebas de usabilidadFestos esfuerzos para identificar, diagnosticar y, en última
instancia, remediar problemas conla interfaz de usuario de un sistema interactivo
mediante la grabación en vídeo de un sm de todo el número de participantes a
medida quecompletan las tareas representativas con el sistema (véase, por
ejemplo, [46]) .
* Técnicas etnográficas Festos incluyen cualquiera de las técnicas cualitativas que
uno podría utilizar para conducta-eldstudy[47]en un entorno naturalistaFpor
ejemploparticipantobservation, entrevistas, y la colección de artefactos.
* Cuestionarios y encuestasFa menudo se utilizan como una fuente
complementaria de data en estudios empíricos. Ellos obtienen respuestas
escritas a un conjunto de preguntas en las que el investigador está interesado
(véase, por ejemplo, [48]).
* ObservationalstudiesFestos investigan alguna actividad de interés en una forma
exploratoria, cualitativa, a menudo a travésdel análisis es deimágenes grabadas
en video de seres humanos que interactúan con la tecnología AV (véase, por
ejemplo, [25]).
Creemos que cada uno de estos métodos empíricos alternativos puede

desempeñar un papel avalorreo para ayudarnos a obtener información sobre
AVe¡ectiveness. Por ejemplo, las pruebas de usabilidad pueden indicarnos si la
interfaz de usuario de un sistema AV está impidiendo que sus usuarios coscien los
beneficios de una visualización (véase, por ejemplo, [49]). Del mismo modo, las
técnicas etnográficas y los estudios observacionales pueden ayudarnos a entender
cómo y por quéla tecnología AV podría ser e¡ective en un aula real (por ejemplo,
[5]), o en una sesión de estudio realista (por ejemplo, [42]). Los cuestionarios y
encuestas pueden ayudarnos a comprender las preferencias, opiniones y consejos
de los usuarios de la tecnología AV con respecto aAVtechnologydesignanduse (ver,
por ejemplo[50]). Por lo tanto, unainvestigación de animportantareaforfuture es
realizar un meta-estudio que incluye los estudios empíricos publicados que
empleanestasalternativetechniquestostudyAVe¡ectiveness. Según nuestras
estimaciones, se han publicado cerca de 30 estudios de este tipo. .
Otrosaspectosescenarios. Eltalstudiesinourcorpus experimen ha
mantenidounestrecho enfoque en las partes específicas de un escenario de uso
determinado. Por ejemplo, en el escenario de "estudio" considerado por la mayoría
de los experimentos, el enfoque se ha centrado en el uso de la tecnología por parte
de los estudiantes. Las otras tareas que deben ser done 'detrás de las escenas', como
la preparación de las visualizaciones para el uso de los estudiantes y la integración
de la tecnología en un plan de estudios delcurso, se dejan inexploradas.
Mientras queel uso realdeAV
technologyforlearningisplainlythecruxofanyscenarioof AVuse,los estudios'estrecho
focusonthatusehaseelobteneruna perspectiva más ampliadedee¡ectiveness.
EvenifAVtechnologyisfoundtobe e¡ectiveasalearning aid, un sinfín de otras
consideraciones podría ser igualmente prominente en una evaluación general de la
e¡ectiveness. Por ejemplo, ¿cuánto tiempo se tarda en preparar y configurar la
tecnología AV? Dada la elección entreelusodomaterials convencionalesyla
tecnología AV, que elegirán los instructores, y ¿qué consideraciones consideran
importantes para tomar esa decisión? En su etnográfico 'eldwork', Hundhausen [5]
comenzó a abordar estas cuestiones dentro del ámbito más amplio de un curso de
algoritmos de pregrado.
Otros escenarios. Aunque AV tiene aplicaciones fuera de escenarios
educativosFpor ejemplo, en el análisisde algoritmos y la ingeniería de
softwareFnuestro meta-estudioha descuidado esosescenarios. De hecho, no somos
conscientes de un conjunto de investigaciones que ha evaluado empíricamente la
tecnología AV en escenarios no educativos. Sospechamos que esto se debe a que
esa investigación no existe, de hecho,. La evaluación empírica de AVe¡ectiveness en
escenarios no educativos es, por tanto, un importante área abierta de investigación.
Observe también que AVis una subárea desoftwarevisualización,que abarca no
sólo la visualización de algoritmos, sino también la visualización de todo el sistema
de softwares.
Visualizationsofsoftwaresystemsaredesignedtohelpmembersofprogrammingteams
do tales cosas como mejorar el rendimiento del sistema [51], comprender la
estructura y evolución de los sistemas de software [52] y rastrear errores [53]. Un
futuro meta-estudio haría bien en controlarlae¡ectividad del softwarevisualización
en tales escenarios industriales. Las preguntas de orientación pertinentes incluyen
las siguientes:
* ¿En qué medida se ha aplicado la visualización de software de forma eesectiva
en la industria?
* ¿Ha aumentado la productividad de la visualización de software?
* H como visualización desoftware bene-ted los grandes equipos de software
típicos en la industria?
* ¿Ha beneficiado la visualización de software los tipos de equipos de
programación distribuidos que son comunes hoy en día?
Nuestra sospecha es que pocos estudios empecíricosquestienenpreguntas que

tienen been publicado. Si esto es cierto, entonces una dirección importante para la
investigación futura es someter los sistemas de visualización de software industrial
al mismo tipo de evaluación sistemática que la tecnología AV educativa ha sufrido.
Agradecimientos
El primer autor escribió una primera versión de este artículo como parte de su
examen completo de doctorado, El Computer
andInformationScienceDepartmentattheUniversityof Oregon, y agradece la
inspiración y la astuta guía de su entonces asesora, Sarah Douglas.
Referencias
1. R. Baecker (1975) Dos sistemas que producen representaciones animadas de la
ejecución de programas informáticos. SIGCSEBulletin 7,158-167.
2. M. H. Brown (1988) AlgorithmAnimation. The MIT Press, Cambridge, MA.
3. J. T. Stasko (1990) TANGO: un marco y sistema para la animación de algoritmos.
Computadora IEEE 23, 27-39.
4. J.T. Stasko (1997) Uso de animaciones construidas por estudiantes como ayudas de
aprendizaje. En: ProceedingsoftheACM
TechnicalSymposiumonComputerScienceEducation. ACM Press, Nueva York, págs. 25 x
29.
5. C. D. Hundhausen (1999) Toward e¡ective artefactos de visualización de algoritmos:
diseño de la participación y la comunicación en un curso de algoritmos de pregrado.
Tesis doctoral inédita, Departamento de Informática y Ciencias de la Información,
Universidad de Oregón.
6. P. Gloor (1998)Algoritmos Ated Anim. En: SoftwareVisualization: Programming as a
Multimedia Experience (M. Brown, J. Domingue, B. Price &J. Stasko, eds) The MIT
Press, Cambridge, MA, pp.409-416.
7. J. S. Gurka, &W. Citrin (1996) Testinge¡ectiveness of algorithm animation. En:
Proceedingsof the1996 IEEE Symposium onVisual Languages. IEEE Computer Society
Press, Los Alamitos, CA, pp.182-189.
8. T. Siestas (1990) Algorithmvisualization en oratorios de laboratorio de ciencias de
lacomputación. En: Proceedingsofthe 21st SIGCSE Technical Symposium on Computer
Science Education. ACM Press, Nueva York, págs. 105 a 110.
9. R. Baecker (1998) Clasificación de la clasificación: un caso práctico de visualización de
software para la enseñanza de la informática. En:
SoftwareVisualization:ProgrammingasaMultimediaExperience (M. Brown, J. Domingue,
B. Price &J. Stasko, eds) The MIT Press, Cambridge, MA, págs. 369 a 381.
10. R.Duisberg(1987)Visualprogrammingof programvisualizations.
En:ProceedingsoftheIEEE 1987VisualLanguageWorkshop. IEEE Computer Society Press,
Los Alamitos, CA.
11. E. Helttula, A.Hyrskykari & K.J.Raiha (1989) Animaciones Graphicalspeci-
cationofalgorithm con ALLADDIN. En: Actas de la 22a Conferencia Anual sobre
CienciasdeSistemas. IEEE Computer Society Press, Los Alanitos, CA, pp. 892-901.
12. J.T. Stasko (1991) Uso de manipulación directa para crear animaciones de algoritmos
por demostración. En: Actas de ACM CHI '91Conferencia sobre Factores Humanos en
Sistemas Informáticos. ACM Press, Nueva York, págs. 307 a 314.
13. A.W. Lawrence, A. N. Badre &J.T. Stasko (1994) Evaluar empíricamente el uso de
animaciones para enseñar algoritmos. En: Proceedingsofthe1994
IEEESymposiumonVisual Languages. IEEE Computer Society Press, Los Alamitos, CA,
pp.48-54.
14. S. R. Hansen, N. H. Narayanan & D. Schrimpsher (2000) Ayudar a los alumnos avisualizar
y comprender algoritmos. InteractiveMultimediaElectronicJournalofComputer-
EnhancedLearning1.
15. J.Stasko,A.Badre&C.Lewis(1993)Doalgorithmanimationsassistlearning? Estudio
empempírico y análisis. En:
ProceedingsofACMINTERCHI'93ConferenceonHumanFactorsinComputingSystems. ACM
Press, Nueva York, pp.61-66.
16. A.W. Lawrence (1993) Estudios empíricos del valor de la animación de algoritmos en la
comprensión de algoritmos. Tesis de doctorado inédita, Departamento de Ciencias de
la Computación, Instituto de Tecnología de Georgia.
17. M. D. Byrne, R. Catrambone & J. T. Stasko (1999) Evaluación de animaciones como
ayudas estudiantiles en el aprendizaje de algoritmos informáticos.
Computadoras&Educación 33, 253-278.
18. B. A. Price, R. M. Baecker & I. S. Small (1993) Aprincipled taxonomyofsoftware
visualization. JournalofVisualLanguagesandComputing 4, 211x266.
19. J. Bazik, R.Tamassia, S. Reiss & A. van Dam (1998) Visualización de software en la
enseñanza en la Universidad Brown. En: SoftwareVisualization: Programming asa
Multimedia Experience (M. Brown, J. Domingue, B. Price &J. Stasko, eds). The MIT
Press, Cambridge, MA, págs. 383 a 398.
20. J. S. Gurka (1996) Aspectos Pedagógicos de la Animación Algoritmo. Tesis de doctorado
inédita, Ciencias de la Computación, Universidad de Colorado.
21. D.R.Goldenson&B.J.Wang(1991)Uso de programadores de herramientas de edición de
estructura. En: Estudios Empíricos de Programadores: Cuarto Taller. Aldex Publishing,
Norwood, NJ, pp.99-120.
22. K.C.Cox&G.C.Roman(1994)AnevaluationofthePavanevisualizationsystem.TechnicalRep
ort WUCS-94-09, Department of Computer Science, Washington University of St. Louis,
St. Louis, MO, abril de 1994.
23. J. Nielsen (1992) Encontrar problemas de usabilidad a través de la evaluación heurística.
En: Proceedingsof ACM CHI '92 Conferencia sobre Factores Humanos en Computación
Systems. ACM Press, Nueva York, págs. 373 a 380.
24. P. G. Polson, C. Lewis, J. Rieman & C.Wharton (1992) Tutoriales cognitivos: un método
para la evaluación basada en teoría de interfaces de usuario. Revista Internacional de
Estudios Hombre-Máquina 36, 741-773.
25. D. J. Gilmore (1990) Methocuestiones dológicas en el estudio de la programación. En:
Psicología dela Programación(J.-M.Hoc,T.R.G.Green,R.Samurcay&D.J.Gilmore,eds).
AcademicPress, San Diego, págs. 83 x 98.
26. B. Precio (1990) Un marco para la animación automática de programas simultáneos.
Tesis de M.S., Departamento de Ciencias de la Computación, Universidad de Toronto.
27. P. Mulholland (1998) Enfoque aprincipiodático para la evaluación de SV: un estudio de
caso en Prolog.In: Visualización de software: Programación como experiencia
multimedia (M. Brown, J. Domingue, B. Price &J. Stasko, eds). The MIT Press,
Cambridge, MA, pp.439-452.
28. M. E. Crosby &J. Stelovsky (1995) De la instrucción multimedia a la evaluación
multimedia. JournalofEducationalMultimedia andHypermedia 4,147-162.
29. L.V. Hedges & I. Olkin (1985) StatisticalMethodsforMeta-Analysis. Prensa Académica,
Orlando.
30. C. Chen & Y.Yu (2000) Estudios empíricos de visualización de la información: un
metanálisis. InternationalJournalofHuman-ComputerStudies 53,851-866.
31. C.D.Hundhausen,&S.A.Douglas(2000)Usingvisualizationstolearnalgorithms:shouldstude
nts construir los suyos o ver los de un experto? En: Proceedings 2000 IEEE International
SymposiumonVisualLanguages. IEEE Computer Society Press, Los Alamitos, págs. 21 a
28.
32. D. J. Jarc, M. B. Feldman & R. S. Heller (2000) Evaluación de los beneficios de la
predicción interactiva utilizando cursos de animación de algoritmos basados en la web.
En: Actas SIGCSE 2000. ACM Press, Nueva York, págs. 377 a 381.
33. C. Kann, R.W. Lindeman, & R. Heller (1997) Integratingalgorithm animación en un
entorno de aprendizaje. Computadoras&Educación 28, 223-228.
34. E.Wenger (1987) Arti-cialIntelligenceandTutoringSystems. Morgan Kaufmann, Los Altos,
CA.
35. J. Roschelle (1990) Diseño para conversaciones. Presentado en el Simposio
AAAIsobreEntornos basados en wledgeno para El Aprendizaje y la Enseñanza, Stanford,
CA,1990.
36. A. Newell & H. A. Simon (1972)HumanProblemSolving. Prentice-Hall, EnglewoodCli¡s,
NJ.
37. R. E. Mayer & R. B. Anderson (1991) Las animaciones necesitan narraciones: una prueba
experimental de hipótesis de codificación dual. JournalofEducationalPsychology
83,484-490.
38. A.Paivio(1983)La caja empírica fordualcoding. En:Imágenes, Memoria
yCognición:Essaysin HonorofAllanPaivio (J. C.Yuille, ed.). Lawrence Erlbaum Associates,
Hillsdale, NJ.
39. C. Cooper (1997) IndividualDi ereces. Oxford Illustrated Press, Oxford.
40. R. Riding & S. Rayner (1998) Cognitvie Stylesand Estrategias de Aprendizaje. David
Fulton Publishers, Londres.
41. L. B. Resnick (1989) Introducción. En: Conocimiento, Aprendizaje e Instrucción: Ensayos
en honor a RobertGlaser (L. B. Resnick, ed.). Erlbaum, Hillsdale, NJ, pp.1-24.
42. C.Kehoe,J. T.Stasko&A.Taylor(2001)Rethinkingthe evaluationofalgorithmanimationsas
ayudas de aprendizaje: un estudio observacional. Revista Internacional de Estudios
Humanos-Computación 54, 265-284.
43. L. A. Suchman (1987) Plans and Situated Actions: The Problem of Human-Machine
Communication. Cambridge University Press, Nueva York.
44. J. Lave & E. Wenger (1991) Aprendizaje situado: Participación periférica legítima.
Cambridge University Press, Nueva York,138pp.
45. S.A.Douglas,C.D.Hundhausen&D.McKeown (1996)Explorandola visualización humana
de algoritmos informáticos. En: Actas 1996 Conferencia de interfaz gráfica. Canadian
Graphics Society,Toronto, CA, págs. 9 a 16.
46. J. Rubin (1994) HandbookofUsabilityTesting. JohnWiley y Sons, Nueva York.
47. R. Sanjek (1995) Etnografía. En: Diccionario Enciclopédico de Antropología Social y
Cultural (A. Barnard &J. Spencer, eds.). Routledge, Londres.
48. W. Foddy (1994) Construyendo preguntas para entrevistas y cuestionarios:Teoría y
práctica en investigación social. Cambridge University Press, Cambridge.
49. D. Lavery & G. Cockton (1995) Estudio de Apilot de los primeros métodos de evaluación
de la usabilidad para visualizaciones de software.
FIDETechnicalReportFIDE/95/141[,Universityof Glasgow,Glasgow, Escocia.
50. A. Badre, M. Baranek, J. M. Morris &J.T. Stasko (1992) Evaluación de los sistemas de
visualización de programas como ayudas educativas. En: Computer Assisted
Learning,ICCAL '92 (I. Tomek, ed.). Springer-Verlag, Nueva York, pp.87-99.
51. D. Kimelman, B. Rosenburg &T. Roth (1994) Strata-Various: Visualización multicapa de
la dinámica en el comportamiento del sistema de software. En: Visualización de
procedimientos '94 IEEE Computer Society Press, Los Alamitos, CA, pp.172-178.
52. M.J.Baker&S.G.Eick(1995)Space--llingsoftwarevisualization. JournalofVisualLanguages y
Computing 6,119-133.
53. T. Shimomura & S. Isoda (1991) Visualización de lista vinculada para depuración.
IEEESoftware 8, 44-51.
54. B.A. Myers (1990) Taxonomías de programación visual y programavisualización.
Journalof VisualLanguagesandComputing1,97-123.
55. N. C. Shu (1988) Programación visual. Van Nostrand Reinhold, Nueva York.
56. M. H. Brown (1988) Perspectivas sobre animación de algoritmos. En:
ProceedingsoftheACMSIGCHI '88ConferenceonHumanFactorsinComputingSystems.
ACM Press, Nueva York, págs. 33 x 38.
57. J.T. Stasko & C. Patterson (1992) Comprender y caracterizar sistemas de visualización de
software. En: Proceedingsofthe1992IEEESymposiumonVisualLanguages. IEEE Computer
Society Press, Los Alamitos, CA, págs. 3 a 10.
58. G.Singh& M.H. Chignell(1992)Componentesofthevisual ordenador:
areviewofrelevanttechnologies. VisualComputer 9,115-142.
59. E. Kraemer &J. T. Stasko (1993) La visualización de sistemas paralelos: una visión
general. Diario de ParallelandDistributedComputing18,105-117.
60. G. C. Roman & K. C. Cox (1993) Una taxonomía de los sistemas de visualización de
programas. IEEE
Computadora 26,11x24.

A Meta-Study of Algorithm Visualization Effectiveness (2002) .Es

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

A Meta-Study of Algorithm Visualization Effectiveness (2002) .Es

Cargado por

Copyright:

Formatos disponibles

AMeta-StudyofAlgorithmVisualizationE¡ectiveness

CHRISTOPHER D. HUNDHAUSENn,SARAH A. DOUGLASw.

La tecnología Algorithmvisualization (AV) ilustra gráficamente cómo funcionan los

Palabras clave: Visualización de algoritmos; Visualización de software; Estudios

Todas estas razones ciertamente contribuyen, de alguna manera, a que no se

convencionalesF se destaca como particularmente importante. De hecho, el

En particular, al centrarse en la expresividad del sistema, estas revisiones

Myers [54] Aspecto (código, datos, algoritmos) Formulario (estático,

Romano y Cox [60] Presentación de la interfaz de la abstracción de alcance speci-

(c) un artefacto de visualización de algoritmo en particular que se dará de alta; y d) un

En este contexto, e¡ectiveness responde así a la pregunta: ¿Hasta qué punto el

2.1. AVEscenarios de uso

Escenarios de uso de AV en la educación

Figura 1. Ataxonomía de escenarios de AVuse en la educación

* Asignaciones. Los estudiantes trabajan en las tareas del curso en su propio

2.2. Técnicas de investigación AV

Anecdotal Programático Analítica Empírica

Figura 2. Métodos de ataxonomía para evaluar AVe¡ectiveness

En este metaestudio, nos centramos en evaluaciones de e¡ectiveness que

empíricos; y segundo, porque la evolución de su diseño revela una evolución en el

estudiantes que interactuaron con el conceptual y las vistas detalladas de HalVis

HalVis hipermedia vs. la mejora posterior a

HalVis hipermedia vs.

HalVis hipermedia vs.

HalVis hipermedia vs.

El grupo de predicción gastado signi-

Dos estudios encontraron un resultado de signi-cant en el que el impacto positivo

Figura 4. Una visión esquemática de la teoría ofestémica de la transferencia de conocimiento

Cuadro 3. Yuxtaposición de las cuatro teorías de la e¡ecttiveness

Epistémica Los gráficos tienen una excelente capacidad Codificación del

Lawrence [16, Capítulo 8] Crosby y Stelovsky [28]

Pepino [20] Byrne etal. [17, Estudio I]

Mulholland [27] Byrne etal. [17, Estudio II]

Hansen etal. [14, Estudio Kann etal. [33]

Hansen etal. [14 StudyVII] Hansen etal. [14, Estudio II]

Hansen etal [14, StudyVIII] Hansen etal. [14, Estudio IV]

1 Tenga en cuenta que el estudio que obtuvoNegativosigni-cantresult[27]iscountedasanon-signi-

cantresult en el Epistemic Fidelitybar.

5.1.4. Análisis de construcción cognitiva más fina

Figura 5. Resultados experimentales con respecto a la teoría de la e¡ectatness. Número total de

* responder preguntas estratégicas sobre la visualización (por

En la visión de Constructivista Cognitivo, entonces, la tecnología AV es vista como

Precio [26] Stasko etal. [15]

Stasko etal. [15] Lawrence [16, Capítulo 7] Lawrence [16, Capítulo 7]

Lawrence [16, Capítulo 9] Byrne etal. [17, Estudio I]

Pepino [20] Byrne etal. [17, Estudio II]

Kann etal. [33] Hundhausen y Douglas [31]

Jarc etal. [32] Hansen etal. [14, Estudio I]

Conceptual Resultado significativo

Figura 7. Resultados experimentales con respecto al tipo de conocimiento probado

Cuadro 7. Classi-cation de estudios experimentales basados en su método de medicióndel

Pre- una Post- Resultado significativo

Ver estos resultados a la luz de las predicciones del constructivismo cognitivo da

6.1. ¿Qué factores han tenido el Impacto Most en La e¡ecttiveness?

6.2. ¿Qué medidas han sido más sensibles a la exactitud?

6.3. ¿Es avTechnology E¡ective?

Tenga en cuenta que, en tales casos, en lugar de ser un instrumento para la

6.4. ¿Qué instrucciones para la investigación futura parecen más

Acción situada AVis un recurso comunicativo Recurso comunicativo similar al

Creemos que cada uno de estos métodos empíricos alternativos puede

Nuestra sospecha es que pocos estudios empecíricosquestienenpreguntas que

También podría gustarte