Traducido del inglés al español - www.onlinedoctranslator.
com
Sesión: Herramientas
Compigoritmo: una herramienta interactiva para
la práctica guiada del análisis de complejidad
rebeca smith
Universidad de arroz
Houston, Texas
rjs@rice.edu
RESUMEN
Es esencial que los estudiantes aprendan a escribir código que no solo sea
correcto, sino también eficiente. Con ese fin, las técnicas de análisis de
complejidad algorítmica, como el análisis Big-O, suelen ser una parte
importante de los cursos sobre diseño de algoritmos. Sin embargo, los
estudiantes a menudo tienen conceptos erróneos fundamentales sobre cómo
funciona el análisis Big-O. Este artículo presenta Compigorithm, una
herramienta interactiva para ayudar a los estudiantes a practicar el análisis Big-
O. Compigorithm apoya el aprendizaje de los estudiantes al dividir el proceso
de análisis en cinco pasos concretos y guiar a los estudiantes a través de cada
uno de estos pasos. Cuando los estudiantes cometen errores, se les
proporcionan sugerencias automáticas y se les permite volver a intentarlo
hasta que obtengan la respuesta correcta. Compigorithm se puso a prueba en
un curso introductorio de algoritmos y se evaluó mediante un experimento
controlado. El grupo experimental entrenó analizando algoritmos usando
Compigorithm, mientras que el grupo de control analizó los mismos algoritmos
a mano. En la prueba posterior posterior, el grupo experimental superó al
grupo de control por un margen significativo (pags<0,00001; de CohenD=0,84).
CONCEPTOS CCS
• Temas sociales y profesionales.→Enseñanza de la informática;•
Computación aplicada→Instrucción asistida por computadora;
Entornos de aprendizaje interactivos;•Teoría de la computación
→ Diseño y análisis de algoritmos.
PALABRAS CLAVE
complejidad algorítmica; Herramientas educativas; Aprendizaje interactivo
Formato de referencia ACM:
Rebecca Smith y Scott Rixner. 2020. Compigoritmo: una herramienta interactiva para
la práctica guiada del análisis de complejidad. EnActas de la Conferencia ACM 2020
sobre Innovación y Tecnología en la Educación en Ciencias de la Computación (ITiCSE
'20), del 15 al 19 de junio de 2020, Trondheim, Noruega.ACM, Nueva York, NY, EE. UU.,
7 páginas. https://doi.org/10.1145/3341525.3387390
1. INTRODUCCIÓN
El software de alta calidad no solo es correcto, sino eficiente tanto en el espacio como en el
tiempo. Para preparar a los estudiantes para carreras exitosas como desarrolladores de
software, es esencial introducir principios de eficiencia desde el principio.
Se otorga permiso para hacer copias digitales o impresas de todo o parte de este trabajo para uso
personal o en el aula sin cargo, siempre que las copias no se hagan o distribuyan con fines de lucro o
ventaja comercial y que las copias lleven este aviso y la cita completa en la primera página. . Deben
respetarse los derechos de autor de los componentes de este trabajo que no pertenezcan a ACM. Se
permite hacer resúmenes con crédito. Copiar de otro modo, o volver a publicar, publicar en servidores
o redistribuir a listas, requiere un permiso específico previo y/o una tarifa. Solicite permisos de
permisos@acm.org.
ITiCSE '20, del 15 al 19 de junio de 2020, Trondheim, Noruega
© 2020 Asociación de Maquinaria de Computación.
ACM ISBN 978-1-4503-6874-2/20/06. . .$15.00
https://doi.org/10.1145/3341525.3387390
363
ITiCSE '20, del 15 al 19 de junio de 2020, Trondheim, Noruega
scott rixner
Universidad de arroz
Houston, Texas
rixner@rice.edu
su educación y darles muchas oportunidades para practicar estos principios.
Con este fin, los planes de estudios de ciencias de la computación de pregrado
generalmente incluyen uno o más cursos sobre algoritmos que analizan la
eficiencia o complejidad algorítmica.
La complejidad algorítmica se presenta con frecuencia en forma de análisis Big-O,
que analiza el tiempo de ejecución asintótico del peor de los casos de un algoritmo en
función de los tamaños de sus entradas. Sin embargo, los novatos a menudo tienen
conceptos erróneos fundamentales sobre cómo funciona el análisis Big-O [6, 10, 19,
21]. De hecho, un estudio encontró que la complejidad algorítmica es uno de los
temas más difíciles en un curso típico de estructuras de datos y algoritmos [8]. Los
expertos pueden tener una visión holística de un algoritmo y determinar
instintivamente su complejidad, pero los estudiantes a menudo carecen de la
intuición para hacerlo. Por lo tanto, los estudiantes primero deben aprender un
enfoque más metódico y basado en principios a medida que trabajan para desarrollar
esta intuición experta.
Las investigaciones anteriores sobre la enseñanza del análisis Big-O se han
centrado en gran medida en el uso de la visualización para ilustrar la complejidad
algorítmica [7, 11, 14–16]. En dicho trabajo, los instructores generalmente brindaban
a los estudiantes representaciones de algoritmos específicos. Si bien este enfoque
puede ayudar a los estudiantes a comprender algoritmos individuales, los estudiantes
desempeñan un papel relativamente pasivo y es posible que no desarrollen un
método generalizable para analizar algoritmos arbitrarios. Hundhausenet al.Involucró
activamente a los estudiantes al crear una "experiencia de estudio" [14] en la que los
estudiantes construyeron en colaboración sus propias visualizaciones durante las
sesiones de laboratorio semanales. Sin embargo, este enfoque se basó en la
retroalimentación en persona del personal del curso. Además, este estudio no
proporcionó a los estudiantes ningún proceso para realizar el análisis; más bien,
buscó observar los procesos que se les ocurrieron por sí mismos.
Otro trabajo ha involucrado a los estudiantes en un proceso de cuestionamiento y
crítica de algoritmos [9, 14] para que piensen profundamente sobre la complejidad.
Las preguntas orientadoras que se les daban a los estudiantes eran típicamente de
alto nivel y los comentarios llegaban más tarde durante las discusiones en persona.
Sahni [22] y Barloweet al.[1] definió métodos concretos y de grano fino para realizar el
análisis Big-O. Sin embargo, el último enfoque se enfoca específicamente en
algoritmos que siguen una estructura de bucle particular, y ambos carecen de
retroalimentación automatizada inmediata.
Este documento define un proceso paso a paso detallado para guiar a los
estudiantes en la práctica activa del análisis Big-O. Además, este documento presenta
Compigorithm, una herramienta automatizada diseñada para guiar a los estudiantes
a través de este proceso de cinco pasos. Hasta donde sabemos, Compigorithm es la
primera herramienta de este tipo para guiar a los estudiantes a través del proceso de
análisis de complejidad algorítmica. Compigorithm asegura que el estudiante
considere inicialmente cada pieza individual del algoritmo, pero luego los obliga a
integrar esas piezas individuales. Esto asegura que los estudiantes no se salten pasos
individuales ni pierdan de vista la imagen holística. Una gran cantidad de
investigación respalda el valor pedagógico de la retroalimentación formativa [2, 4, 12,
13, 23], y así
Sesión: Herramientas
Compigorithm está diseñado para dar a los estudiantes comentarios inmediatos
sobre sus respuestas. Se requiere que los estudiantes completen con éxito cada paso
antes de continuar con el siguiente. Dado que Compigorithm está diseñado para ser
formativo, los estudiantes reciben infinitos intentos y, a menudo, reciben sugerencias
específicas al ingresar una respuesta incorrecta.
Finalmente, este artículo presenta los resultados de un experimento controlado
diseñado para investigar la siguiente pregunta de investigación: ¿es la práctica guiada
junto con la retroalimentación formativa que ofrece Compigorithm un medio eficaz
para enseñar a los estudiantes la complejidad algorítmica, en comparación con un
enfoque manual más ad hoc? El estudio se realizó en un curso introductorio sobre
algoritmos y matemáticas discretas. A todos los estudiantes se les presentó el análisis
Big-O a través de una conferencia en clase y luego se les asignó la tarea de analizar la
complejidad de los mismos tres algoritmos en las tres semanas siguientes. Los
estudiantes del grupo de control lo hicieron a mano, mientras que los estudiantes del
grupo experimental usaron Compigorithm. Después de completar estos ejercicios de
capacitación, a todos los estudiantes se les dio una prueba posterior en la que se les
pidió que calcularan la complejidad de un algoritmo a mano. De media, los
estudiantes del grupo experimental obtuvieron una puntuación de 13,03 sobre 20, en
comparación con los 9,86 del grupo de control. Esta diferencia fue estadísticamente
significativa (pags<0,00001) con un tamaño del efecto grande (Cohen'sD=0,84).
2 CONTEXTO
El curso para el que se diseñó Compigorithm lo toman principalmente los
estudiantes de ciencias de la computación previstos en su segundo
semestre. Enseña algoritmos y matemáticas discretas, y las tareas para el
hogar también incluyen componentes de programación en los que los
estudiantes implementan algoritmos en Python. Compigorithm fue
diseñado para complementar la instrucción existente sobre complejidad
algorítmica dentro del curso al guiar a los estudiantes a realizar análisis
de complejidad de manera estructurada. En el diseño de Compigorithm,
la naturaleza del curso para el que se diseñó influyó en varias decisiones
clave, en particular, la elección del idioma y las construcciones de idioma
admitidas.
2.1 Elección de idioma
Cuando se introduce la complejidad algorítmica en este curso, se alienta a los
estudiantes a pensar en términos de estructuras de datos abstractas en lugar
de considerar los detalles de implementación de cualquier lenguaje en
particular. Sin embargo, construir el backend de Compigorithm (descrito en la
Sección 4) requería que el algoritmo analizado se expresara en un lenguaje
analizable. Esto, a su vez, requería el uso de un lenguaje de programación
formal en lugar de un pseudocódigo informal.
Los objetivos duales de imponer la estructura mientras se mantiene la abstracción
crearon una tensión en el diseño de Compigorithm. Una opción habría sido utilizar un
lenguaje diseñado para fines matemáticos como la comprobación de teoremas o
modelos, como Coq [3], Dafny [18] o PlusCal [17]. Sin embargo, Compigorithm se
dirige a estudiantes introductorios, muchos de los cuales tienen solo unos pocos
meses de experiencia en programación. La introducción de un nuevo idioma para los
propósitos de este estudio probablemente habría sido una fuente de confusión,
distrayendo a los estudiantes de la tarea que tenían entre manos. En aras de la
familiaridad, Compigorithm usa Python. Sin embargo, para preservar el nivel de
abstracción deseado y para tener en cuenta el hecho de que la especificación del
lenguaje Python deja algunos detalles sin definir, se les pidió a los estudiantes que
pensaran en el código como un pseudocódigo y se les proporcionó un lenguaje
escrito claro.
364
ITiCSE '20, del 15 al 19 de junio de 2020, Trondheim, Noruega
instrucciones que describen qué propiedades podrían asumir sobre cada
estructura de datos. Por ejemplo, CPython implementa los diccionarios como
tablas hash, pero se indicó a los estudiantes que simplemente trataran los
diccionarios como colecciones desordenadas de pares (clave, valor), sin hacer
suposiciones sobre cómo se almacenan esos pares.
2.2 Construcciones admitidas
Computar la complejidad algorítmica es una extensión del problema de la
detención; dado que este problema es indecidible [5], Compigorithm no puede
soportar el caso general. En cambio, se enfoca en apoyar casos relativamente
sencillos que se adaptan a un curso introductorio. Es compatible con muchas
construcciones básicas del lenguaje, comopor bucles,sibloques y funciones
integradas, y también puede manejartiempo bucles que tienen un número bien
definido de iteraciones, dadas las anotaciones del instructor. La recursividad
aún no es compatible.
En términos de estructuras de datos, Compigorithm admite todos los tipos
integrados de Python, como listas, conjuntos y diccionarios. Como se señaló en la
Sección 2.1, se instruyó a los estudiantes para que trataran estas estructuras de datos
de manera abstracta. Actualmente no se admiten clases arbitrarias definidas por el
usuario. Sin embargo, el curso para el que se diseñó Compigorithm históricamente ha
hecho un uso intensivo de algoritmos gráficos. Por lo tanto, Compigorithm tiene
soporte incorporado para cuatro clases de gráficos: dirigidos y no dirigidos, cada uno
implementado usando listas de adyacencia y una matriz de adyacencia. A los
estudiantes se les proporcionó una interfaz que detallaba las operaciones permitidas
de cada clase de gráfico. Compigorithm permite como máximo un gráfico de entrada
para un algoritmo dado, y pide a los estudiantes que se refieran a la cantidad de
nodos y aristas en ese gráfico comonortey metro, respectivamente. También
introduce una variable adicional,D(I), para referirse al grado de un nodo arbitrarioI.
Entonces, por ejemplo, si el algoritmo que se analiza itera sobre todos los vecinos de
un nodo en un gráfico, el número de iteraciones se designaría como D(I). Como la
Sección 3 explicará con mayor detalle, los estudiantes pueden usar D(I)en pasos
intermedios, pero finalmente se le pedirá que reescriba todas las expresiones que
involucrenD(I)en términos de solonorteymetro.
3 FLUJO DE TRABAJO
Para usar Compigorithm, todo lo que el instructor debe proporcionar es el
algoritmo para que los estudiantes lo analicen, en forma de un archivo de
Python que contiene una o más definiciones de funciones. La cadena de
documentación de cada función debe incluir anotaciones que indiquen los tipos
de entrada y salida. Después de cargar este archivo, el instructor recibe una
URL que proporciona acceso de solo lectura al código. Cuando los estudiantes
acceden a esa URL, ven tres paneles, como se muestra en la Figura 1. En el lado
izquierdo hay un margen que muestra los números de línea y las anotaciones
que aparecen a medida que los estudiantes avanzan. El panel central contiene
el código proporcionado por el instructor, y en el lado derecho está el panel de
salida, donde los estudiantes pueden ver instrucciones y comentarios.
Encima de estos paneles hay un botón "Ejecutar"; al presionar esto, los
estudiantes reciben instrucciones que detallan la convención de nomenclatura de
variables, los operadores permitidos y, lo que es más importante, el procedimiento de
cinco pasos que seguirán. Tenga en cuenta que Compigorithm está diseñado como
una herramienta de capacitación para programadores novatos que son nuevos en el
análisis Big-O. Este procedimiento está diseñado para garantizar que, inicialmente, no
se salten pasos sin darse cuenta. Más tarde, una vez que hayan ganado suficiente
práctica para haber desarrollado más intuición, sería apropiado
Sesión: Herramientas ITiCSE '20, del 15 al 19 de junio de 2020, Trondheim, Noruega

Figura 1: Interfaz de usuario de Compigorithm

para que hagan la transición a un enfoque más holístico. A continuación se incluye un incluir varios términos. Sin embargo, para las líneas que contienen
extracto abreviado de las instrucciones que describen las cinco fases: encabezados de bucle, deben proporcionar tanto el número de iteraciones

(1) Línea por línea: Analice la complejidad de cada línea individual. como la complejidad de la "expresión de iteración" a la derecha detiempoo en,

(2) Multiplicación: para cada ciclo, multiplique el número de portiempoyporbucles, respectivamente. Paratiempobucles, primero se les

iteraciones por la suma de las complejidades de las líneas dentro solicita el número de iteraciones, ya que Python necesita volver a evaluar la

del ciclo. Mantenga solo una instancia de cada término único. expresión de la iteración, en este caso, la condición de continuación del bucle,

(3) Sustitución de grado: Eliminar todas las instancias deD(I)reescribiendo después de cada iteración. Paraporbucles, Python solo necesita evaluar la

en términos denorteymetro. expresión de iteración una vez para construir un objeto iterador. Por lo tanto,

(4) Simplificación: elimine los términos no máximos de cada línea se pide a los estudiantes que analicen primero esta expresión antes de calcular

y bucle. el número de iteraciones.

(5) Complejidad de la función: seleccione los términos que son máximos en El frontend de Compigorithm verifica la corrección comparando la respuesta del

el caso asintótico para calcular la complejidad total de la función. estudiante con los metadatos que han sido calculados previamente por el backend
(consulte la Sección 4). No requiere una coincidencia de cadena exacta; en cambio,
Los estudiantes deben completar estos cinco pasos para cada función en el
busca la equivalencia lógica usando elmatemáticas.jsBiblioteca1. Por ejemplo, si la
archivo. Compigorithm determina el orden en el que los estudiantes pueden analizar
respuesta esperada esO(norte+metro2), Compigorithm acepta variaciones en
estas funciones mediante la construcción de un gráfico de llamada, realizando una
espacios en blanco, ordenación y factorización como O(metro∗metro+norte). Si la
clasificación topológica y, posteriormente, haciendo cumplir que el estudiante trabaja
respuesta es correcta, se registra en el margen izquierdo. Esto permite a los
de la persona que llama a la persona que llama:es decir, siFllamadasd, el estudiante
estudiantes ver fácilmente qué líneas quedan y también consultar sus resultados
debe completar correctamente los cinco pasos paradantes de proceder aF.Las
intermedios a medida que trabajan en los pasos posteriores. Si la respuesta es
funciones disponibles están coloreadas en blanco; las funciones con dependencias no
incorrecta, Compigorithm solicita al alumno que vuelva a intentarlo. En muchos casos,
satisfechas se colorean en gris hasta que se hayan analizado todos los destinatarios.
también proporciona una pista específica. Existen seis clases de sugerencias: objetivo,
procedimiento, sintaxis, términos, tamaños y grados. Las sugerencias objetivas
3.1 Análisis línea por línea
recuerdan a los estudiantes su objetivo general, mientras que las sugerencias de
En el primer paso, los estudiantes tienen la tarea de calcular la complejidad de
procedimiento les recuerdan dónde se encuentran en el proceso. Las sugerencias de
cada línea individual. Si bien es posible que los algoritmos más avanzados no se
sintaxis apuntan a entradas con formato incorrecto. Las últimas tres categorías
analicen fácilmente línea por línea, los tipos de programas analizados por los
resaltan los errores que los estudiantes han cometido con respecto a los términos en
novatos (el público objetivo de Compigorithm) generalmente se prestan al
la expresión de complejidad, los tamaños de las variables o las expresiones que
análisis línea por línea. Los estudiantes deben tener en cuenta todas las
involucran unaD(I)término. La Tabla 1 incluye dos ejemplos de cada tipo de pista; los
operaciones individuales involucradas en una línea dada, incluidos todos los
corchetes angulares denotan texto personalizado para las líneas relevantes.
términos únicos, incluso aquellos que no son máximos. Sin embargo, se les
pide que eliminen los términos duplicados y los factores multiplicativos 3.2 Análisis holístico
constantes. Pueden seleccionar una línea para analizar haciendo clic en su
En el segundo paso, los estudiantes calculan la contribución de complejidad
número de línea y pueden cambiar de línea haciendo clic en un nuevo número
total de cada bucle. Para hacer esto, deben multiplicar el número de iteraciones
o presionando Intro para avanzar a la siguiente línea incompleta. Una vez
por la suma de las complejidades de las declaraciones dentro del ciclo. Para
seleccionada, la línea actual se resalta en azul y se le solicita al estudiante que
bucles anidados, se les pide a los estudiantes que trabajen hacia afuera desde
ingrese su complejidad.
el bucle más interno del nido. Cuando se completa este paso, el
Para la mayoría de las líneas, los estudiantes solo deben ingresar una sola
expresión que represente su complejidad, aunque esta expresión puede 1https://mathjs.org/

365
Sesión: Herramientas ITiCSE '20, del 15 al 19 de junio de 2020, Trondheim, Noruega

Tabla 1: Sugerencias seleccionadas

Categoría Ejemplos
Recuerda considerar el *peor* caso. ¿Cuántos elementos en total podrían necesitar ser buscados?
Objetivo
La expresión que intenta simplificar es: <expr>
Se le pidió que primero proporcionara el número de iteraciones; se le pedirá la complejidad de la expresión a la derecha de la
Procedimiento tiempo¡próximo! (Piense en por qué puede ser esto; ¿cuántas veces se ejecuta esa expresión?)
Solo debes incluir la expresión que representa el cuerpo del bucle, en concreto: <expr>
Entrada inválida; la entrada debe ser de la forma "O (...)"
Sintaxis
Entrada inválida; recuerda usar “∧” (no “**”), para exponenciación.
Tiene duplicados de los siguientes términos: <términos>. Recuerde incluir solo una instancia de cada término único.
Condiciones
Es posible que tenga términos faltantes o incorrectos en las siguientes líneas: <números de línea>. Recuerda que en este paso
intermedio, debes mantener una instancia de cada término único (incluso si no son máximos en el caso asintótico)
Mire las entradas involucradas en esta línea. Ahora mira los tamaños que has usado en tu expresión. ¿Está seguro de que todos esos tamaños
Tallas provienen de las entradas que se utilizan en esta línea?
¿Cuáles son los tamaños de las entradas para la persona que llama (<nombre de la persona que llama>) en términos de los tamaños de las entradas para la persona que llama (<nombre de la persona que llama>)

Piense en cuántas veces en total se ejecuta el ciclo interno que comienza en la línea <línea> en todas las iteraciones del ciclo externo que
Grados comienza en la línea <línea>
¿Cuál es el valor máximo de d(i) en términos de m y n?

estudiante se queda con sólo una expresión de complejidad por nivel superior (
es decir, no contenido dentro de otro bucle) línea o nido de bucle.
Compigorithm resalta el bucle seleccionado actualmente en azul y también
resalta todos los bucles "disponibles" (para cada nido de bucles, el bucle más
interno que aún no se ha completado) en un azul más claro.
El tercer paso, la sustitución de grados, solo se aplica a los algoritmos
gráficos que iteran sobre los vecinos. En tales algoritmos, los estudiantes
habrán introducidoD(I)términos durante los dos primeros pasos. Ahora, deben
reescribir cualquier expresión de alto nivel que involucreD(I)en términos de
norteymetro. Para algoritmos que usan bucles anidados para iterar sobre el
vecinos de cada nodo, esto requiere que los estudiantes reconozcan que
∑norte
I=1D(I) =metro;es decir, el número total de iteraciones es proporcional
al número de aristas en el gráfico. Si el algoritmo solo itera sobre los
vecinos de un nodo,D(I)simplemente resuelvenorte.
Finalmente, los estudiantes están listos para simplificar. En el paso cuatro,
deben descartar los términos no máximos de las expresiones de nivel superior
restantes. Luego, en el paso cinco, deben ingresar la complejidad de la función,
calculada seleccionando todos los términos máximos en estas expresiones de
nivel superior. Una vez que los estudiantes ingresan la respuesta correcta para
una funciónd, Compigorithm busca expandir el conjunto de funciones
disponibles. Si una funciónFllamadody todos sus destinatarios ahora han sido
analizados, está disponible para su análisis. Luego, el estudiante repite el
proceso de cinco pasos hasta que se hayan analizado todas las funciones.
(4)línea_complejidad:mapeo de cada número de línea enFa la
complejidad de esa línea
(5)bucle_datos:asignación de cada número de línea que contiene un
encabezado de bucle a la última línea contenida dentro de ese bucle
(6)while_loops:números de línea que contienen encabezados de bucle while
(7)nombres de variables:nombres asignados a los argumentos
Estas siete piezas de metadatos son todo lo que Compigorithm necesita
para hacer cumplir el procedimiento de cinco pasos descrito en la Sección 3. Sin
embargo, también rastrea varias características adicionales del código para
informar mejor las sugerencias que brinda a los estudiantes. El backend de
Compigorithm calcula estos metadatos analizando el código proporcionado por
el instructor en un árbol de sintaxis abstracta (AST) y procesando cada función
usando dos visitantes personalizados: elBigoVisitory elTamañoVisitante. Estos
calculan la complejidad de tiempo de cada línea y la complejidad de tamaño de
cada variable, respectivamente, almacenando los resultados como expresiones
algebraicas en términos de las entradas de la función.
losBigoVisitorcrea una asignación de cada número de línea a una lista
de las complejidades de todas las operaciones en esa línea. Extiende el
Visitante de nodoclase de Pythonrápidoy consta de un conjunto recursivo
de visitantes, uno para cada tipo de nodo compatible. Cada visitante crea
una cadena que representa la complejidad del nodo actual, que puede
incluir varios términos. Agrega esta expresión a una lista correspondiente

4 INFRAESTRUCTURA
Este flujo de trabajo requiere que Compigorithm tenga acceso a una gran
cantidad de metadatos relacionados con las funciones que se analizan. Si bien
un instructor podría producir manualmente estos metadatos, hacerlo
requeriría un esfuerzo adicional sustancial. Para minimizar la carga del
instructor, el backend de Compigorithm calcula automáticamente todos los
metadatos necesarios. Para cada funciónFen el archivo proporcionado por el
instructor, Compigorithm calcula la siguiente información:
(1)complejidad_total:complejidad general deF
(2)dependencias:funciones definidas por el usuario queFllamadas
(3)start_lineno:línea que contiene el encabezado de la función paraF
al número de línea del nodo actual y luego procesa recursivamente todos
los elementos secundarios del nodo actual. Para algunos tipos de nodos,
como los que representanpasaro Seguirdeclaraciones, este es un proceso
sencillo. Sin embargo, para operaciones que involucran variables, el
BigoVisitordelegados a laTamañoVisitante,que es responsable de
propagar información sobre los tamaños de todas las variables vivas. los
TamañoVisitantemantiene una asignación del nombre de cada variable a
su tamaño actual. Esta asignación se actualiza no solo en las
asignaciones, sino también en las llamadas a las funciones de la
biblioteca que afectan los tamaños de las variables, comolist.append.
Para manejar las llamadas a funciones, Compigorithm primero calcula el
tamaño de cada argumento. Los propios argumentos pueden ser compuestos

366
Sesión: Herramientas
Tabla 2: Confianza autoinformada promedio (Escala Likert de 5 puntos, ambos tratamientos)
Grupo de control
“Califique su confianza en cada uno de los siguientes:”
norte Pre-encuesta Post-encuesta Delta
1A Su comprensión del análisis de O grande 87 3.13
Su capacidad para razonar sobre la complejidad
1B algorítmica (el tiempo de ejecución de un algoritmo en 87 3.01
función del tamaño de sus entradas)
Su comprensión de cómo la elección de la estructura
1C 87 3.13
de datos afecta la complejidad algorítmica
Su capacidad para calcular correctamente la
1D 87 2.90
complejidad de un algoritmo.
expresiones que involucran operaciones adicionales, tal vez incluso llamadas a
funciones adicionales, por lo que en el proceso de resolución de los
argumentos, Compigorithm también rastrea la complejidad temporal de tales
operaciones y almacena esa información en la lista que pertenece a la línea
actual. Luego busca la expresión de la complejidad algorítmica del receptor de
la llamada y la sustituye en los tamaños de los argumentos calculados.
Si el destinatario de la llamada está definido en el archivo proporcionado
por el instructor, estos dos últimos pasos se posponen hasta que
Compigorithm haya completado el primer paso por todas las funciones. Luego,
Compigorithm usa tres asignaciones para buscar tres piezas de información: la
complejidad algorítmica del receptor de la llamada, el tamaño del valor
devuelto y el tipo de valor devuelto. Cada mapeo asocia el nombre de la
función con una expresión algebraica en términos del primer y segundo
parámetro. Tenga en cuenta que el esquema actual solo admite funciones con
hasta dos parámetros, pero podría ampliarse fácilmente. Habiendo buscado
estas tres expresiones, Compigorithm sustituye los tamaños de los argumentos
previamente calculados para resolver la complejidad de la llamada.
Por último, la lista de complejidades operativas de cada línea se
contrae en una sola expresión, y Pythonsimpático [20] se utiliza para
simplificar esta expresión a la forma Big-O. Luego, el backend devuelve
este resultado final, así como los metadatos intermedios, al frontend,
donde se utiliza para respaldar el flujo de trabajo descrito en la Sección 3.
5 METODOLOGIA
Como se discutió en la Sección 2, Compigorithm se evaluó en un curso introductorio
de algoritmos y matemáticas discretas que es el segundo curso en el plan de estudios
de informática. Cada semana, los estudiantes asisten a dos conferencias y una sesión
opcional de resolución de problemas. La inscripción es típicamente alrededor de 200
estudiantes. Compigorithm se puso a prueba durante la primavera de 2019 y se
evaluó en un experimento controlado. Los estudiantes fueron asignados al azar a los
grupos de tratamiento, y todos los estudiantes fueron introducidos al análisis Big-O
en la misma conferencia impartida en la tercera semana de clase. Posteriormente,
todos los estudiantes completaron una encuesta previa en la que calificaron su
confianza utilizando una escala Likert de 5 puntos. Luego, en el transcurso de tres
semanas, todos los estudiantes completaron tres ejercicios de entrenamiento
denominados AC1, AC2 y AC3.
Cada ejercicio pedía a los estudiantes que analizaran un único algoritmo. A los
estudiantes de ambos grupos se les pidió que analizaran exactamente los mismos
algoritmos y tuvieron acceso a la misma guía de referencia con respecto a la
complejidad de varios accesos a estructuras de datos. AC1 involucró principalmente
operaciones de conjuntos, mientras que AC2 y AC3 se enfocaron en operaciones de
gráficos. lossolamenteLa diferencia fue que los estudiantes del grupo experimental
analizaron los algoritmos dentro de Compigorithm, mientras que los estudiantes del
grupo de control lo hicieron a mano, como lo habrían hecho en
367
ITiCSE '20, del 15 al 19 de junio de 2020, Trondheim, Noruega
Grupo experimental
valor p
norte Pre-encuesta Post-encuesta Delta
3.57 + 0,45 86 3.02 3.76 + 0,73 0.049
3.58 + 0,56 86 2.95 3.60 + 0,65 0.50
3.46 + 0,33 86 2.99 3.67 + 0,69 0.014
3.37 + 0,47 86 2.81 3.49 + 0,67 0.12
iteraciones pasadas del curso. Para minimizar la contaminación del
experimento, a los estudiantes no se les permitió discutir las tareas entre
ellos, aunque podían hacer preguntas al instructor, a los TA ya los
investigadores. Sin embargo, es posible que algunos estudiantes hayan
hecho caso omiso de las instrucciones y discutido los ejercicios entre
ellos, lo que podría haber representado una amenaza para la validez
interna.
Después de la tercera tarea (AC3), todos los estudiantes completaron
una encuesta posterior y realizaron una prueba posterior. La encuesta
posterior pidió a los estudiantes que calificaran nuevamente su confianza
y también que calificaran la efectividad percibida de los ejercicios. La
prueba posterior se administró durante la sesión de problemas
semanales y pidió a los estudiantes que calcularan la complejidad de una
función a mano. Los investigadores calificaron las pruebas posteriores a
ciegas utilizando una rúbrica que se creó de antemano. La rúbrica fue
muy detallada; asignó crédito parcial a cada concepto individual que los
estudiantes pudieron demostrar comprensión y fue diseñado para aislar
conceptos individuales de modo que un error no tuviera un efecto en
cascada. Una amenaza potencial para la validez es la falta de una prueba
previa para compararla con la prueba posterior; sin embargo,
6 EVALUACIÓN
Las encuestas previas y posteriores ofrecen información sobre el cambio en la
autoeficacia que experimentaron los estudiantes durante el estudio. La Tabla 2
resume la confianza autoinformada de los estudiantes en cuatro elementos
relacionados con el análisis de complejidad. Las secciones intermedias proporcionan
estadísticas resumidas para cada grupo de tratamiento; la columna más a la derecha
enumera el valor p que resultó de una prueba t heteroscedástica no pareada de dos
colas. Esta prueba se realizó calculando primero el delta en la respuesta de cada
estudiante antes y después de la encuesta, y luego comparando las distribuciones de
los deltas entre los dos grupos.
A pesar del uso de la selección aleatoria, los estudiantes del grupo
experimental informaron inicialmente una menor confianza. Sin embargo, al
final del estudio, su confianza promedio superó la del grupo de control en los
cuatro elementos. Para dos de estos (comprensión general del análisis de O
grande y comprensión de cómo la elección de la estructura de datos afecta la
complejidad algorítmica), la diferencia en los deltas entre los grupos fue
estadísticamente significativa al principio.pags=nivel 0.05.
En la encuesta posterior, también se les pidió a los estudiantes que calificaran su
acuerdo con cuatro afirmaciones sobre la efectividad percibida de los ejercicios de
entrenamiento. Se les hicieron las mismas preguntas dos veces: una para AC1 (que
consiste principalmente en operaciones de conjuntos) y otra para
Sesión: Herramientas ITiCSE '20, del 15 al 19 de junio de 2020, Trondheim, Noruega

Tabla 3: Concordancia promedio: Eficacia AC1 y AC2–3 (Escala Likert de 5 puntos, ambos tratamientos)

Grupo de control Grupo experimental

“Por favor califique su acuerdo con cada una de las siguientes afirmaciones con respecto a AC1:” valor p
norte Post-encuesta norte Post-encuesta
2A AC1 mejoró mi capacidad de razonar sobre la complejidad algorítmica 87 3.17 86 3.76 0.00012
2B AC1 me ayudó a identificar y corregir mis conceptos erróneos sobre la complejidad algorítmica 87 3.02 86 3.81 < 0.00001
2C AC1 me ayudó a aprender a analizar metódicamente la complejidad de un algoritmo 87 3.14 86 3.88 < 0.00001
2D AC1 me dio una nueva visión de las complejidades de ciertas operaciones de estructura de datos 87 3.07 86 3.81 < 0.00001
Grupo de control Grupo experimental
“Califique su acuerdo con cada una de las siguientes afirmaciones con respecto a AC2-3:” valor p
norte Post-encuesta norte Post-encuesta
3A AC2–3 mejoró mi capacidad de razonar sobre la complejidad algorítmica 88 3.20 88 3.73 0.00046
3B AC2–3 me ayudó a identificar y corregir mis conceptos erróneos sobre la complejidad algorítmica 88 3.13 88 3.72 0.00015
3C AC2–3 me ayudó a aprender a analizar metódicamente la complejidad de un algoritmo 88 3.31 88 3.73 0.0059
3D AC2–3 me dio una nueva visión de las complejidades de ciertas operaciones de estructura de datos 88 3.17 88 3.78 0.00018

Tabla 4: Concordancia promedio: efectividad del compigoritmo (escala de Likert de 5 puntos, solo grupo experimental)

AC1 AC2–3
“Por favor califique su acuerdo con cada una de las siguientes afirmaciones con respecto a su experiencia con...”
norte Post-encuesta norte Post-encuesta
4A La herramienta me ayudó a desarrollar un enfoque metódico para realizar análisis de complejidad. 87 4 88 3.95
4B La herramienta me dio una nueva perspectiva de la complejidad algorítmica de las operaciones individuales. 87 3.93 88 3.94
4C La herramienta me ayudó a analizar la complejidad de un algoritmo línea por línea 87 4.11 88 4.07
La herramienta me ayudó a sintetizar mi conocimiento de la complejidad de las operaciones individuales
4D 87 3.94 86 3.86
para calcular la complejidad general
4E Las sugerencias de la herramienta me ayudaron a identificar y corregir mis conceptos erróneos sobre la complejidad algorítmica. 87 3.64 88 3.73

AC2–3 (algoritmos gráficos). Como se muestra en la Tabla 3, el grupo Tabla 5: Prueba posterior: Resumen de estadísticas

experimental encontró que su experiencia fue estadísticamente (p < 0,00001, d = 0,84)

significativamente más útil que el grupo de control en las ocho preguntas. El
grupo experimental también respondió preguntas específicas sobre Mín Promedio Máx Stdev norte

Compigorithm; estos resultados se resumen en la Tabla 4. Los estudiantes
estuvieron más de acuerdo con las afirmaciones de que Compigorithm les
ayudó a realizar un análisis línea por línea (4C) y que les ayudó a desarrollar un
enfoque metódico para el análisis de complejidad (4A). Hubo un poco más de
desacuerdo con respecto al sistema de pistas, lo que sugiere que puede ser
una vía para el trabajo futuro.
Los resultados más reveladores provienen de la prueba posterior. Se pidió a
los estudiantes que calcularan, a mano, la complejidad algorítmica de una
función de Python. Tenían 20 minutos para completar la prueba y se les pidió
que mostraran todo el trabajo. La prueba se calificó sobre 20 puntos; se otorgó
crédito parcial. La prueba fue diseñada para ser desafiante, para servir como
un diferenciador efectivo, pero no requiere mucho tiempo; casi todos los
estudiantes tenían tiempo de sobra. Como muestra la Tabla 5, el grupo
experimental superó sustancialmente al grupo de control, con una puntuación
media de 13,03 frente a los 9,86 del grupo de control. Esta diferencia arrojó un
valor p de < 0.00001 y un tamaño del efecto, medido por CohenD, de 0,84, lo
que indica que Compigorithm tuvo un gran efecto positivo en la capacidad de
los estudiantes para realizar análisis Big-O.
7. CONCLUSIÓN
Para escribir código que no solo sea correcto sino también eficiente, los
estudiantes deben comprender cómo las elecciones lógicas y estructurales que
toman impactan en la eficiencia de sus algoritmos. Con este fin, los cursos de
introducción a los algoritmos suelen presentar el concepto de complejidad
algorítmica, a menudo en forma de análisis Big-O.
Inicialmente, muchos novatos carecen de intuición para realizar análisis
Big-O. Por lo tanto, es fundamental dar a los estudiantes una práctica guiada
Control 0 9.86 19 4.38 90
Experimental 6 13.03 20 3.08 89
para ayudarles a desarrollar un enfoque basado en principios para esta tarea. Este
documento ha presentado Compigorithm, una herramienta automatizada que guía a
los estudiantes a través de un procedimiento de cinco pasos para calcular la
complejidad algorítmica. Al combinar la práctica específica con la retroalimentación
formativa, Compigorithm brinda a los estudiantes una experiencia interactiva
diseñada para ayudarlos a aprender un enfoque sistemático para el análisis de
complejidad. A medida que los estudiantes trabajan, Compigorithm estructura su
progreso asegurándose de que no se salten ningún paso, brinda retroalimentación
inmediata sobre la corrección de sus respuestas y permite infinitos reintentos hasta
que alcanzan la solución correcta. La infraestructura de Compigorithm está
completamente automatizada, de modo que el instructor solo necesita proporcionar
el código fuente para que se analice el algoritmo.
Compigorithm se evaluó en un experimento controlado dentro de un curso
introductorio sobre algoritmos y matemáticas discretas. En una prueba
posterior, los estudiantes que entrenaron usando Compigorithm superaron a
los estudiantes que habían entrenado analizando los mismos algoritmos a
mano por un margen estadísticamente significativo. Los estudiantes del grupo
experimental también informaron mayores aumentos en la autoeficacia con
respecto a su comprensión general del análisis Big-O y su comprensión de
cómo la elección de la estructura de datos afecta la complejidad algorítmica.
Estos resultados indican que Compigorithm es una herramienta de formación
eficaz, incluso con una intervención mínima del instructor, y que proporciona a
los estudiantes no solo una base conceptual sólida, sino también las
habilidades prácticas necesarias para abordar nuevos problemas.

368
Sesión: Herramientas
REFERENCIAS
[1] Scott Barlowe y Andrew Scott. 2015. O-Charts: Hacia un conjunto de herramientas eficaz para la
enseñanza de la complejidad del tiempo. EnActas de la 45.ª Conferencia Anual de Fronteras en
Educación (FIE '15). El Paso, Texas.
[2] Paul Black y Dylan William. 1998. Evaluación y Aprendizaje en el Salón de Clases.
Evaluación en Educación: Principios, Política y Práctica5, 1 (1998).
[3] El equipo de desarrollo de Coq. 2017.Manual de referencia del asistente de prueba de
Coq, versión 8.7. http://coq.inria.fr
[4] Terence J. Crooks. 1988. El impacto de las prácticas de evaluación en el aula sobre los estudiantes.
Revisión de la investigación educativa58, 4 (1988).
[5] Martín Davis. 1958.Computabilidad e insolubilidad. McGraw-Hill Book Company,
Inc.
[6] Mohammed F. Farghally, Kyu Han Koh, Jeremy V. Ernst y Clifford A. Shaffer. 2017. Hacia
un inventario de conceptos para temas de análisis de algoritmos. EnActas del 48º
Simposio Técnico SIGCSE sobre Educación en Ciencias de la Computación (SIGCSE '17).
Seattle, WA.
[7] Mohammed F. Farghally, Kyu Han Koh, Hossameldin Shahin y Cliffor A. Shaffer. 2017.
Evaluación de la efectividad de las visualizaciones de análisis de algoritmos.
EnActas del 48º Simposio Técnico SIGCSE sobre Educación en Ciencias de la
Computación (SIGCSE '17). Seattle, WA.
[8] Eric Fouh, Mohammed Farghally, Sally Hamouda, Kyu Han Koh y Clifford A. Shaffer. 2016.
Investigación de temas difíciles en un curso de estructuras de datos utilizando la teoría de
respuesta al ítem y el análisis de datos registrados. EnActas de la Conferencia Internacional
sobre Minería de Datos Educativos de 2016 (EDM '16). Raleigh, Carolina del Norte.
[9] Judith Gal-Ezer, Tamar Vilner y Ela Zur. 2004. Enseñanza de la eficiencia del algoritmo en el nivel
CS1: un enfoque diferente.Educación en Ciencias de la Computación14, 3 (2004), 235–248.
[10] Judith Gal-Ezer y Ela Zur. 2003. La eficiencia de los algoritmos: conceptos erróneos.
Informática y Educación42, 3 (2003), 215–226.
[11] Michael T. Goodrich y Roberto Tamassia. 1998. Enseñanza del Análisis de Algoritmos con
Pruebas Visuales. EnActas del 29º Simposio Técnico SIGCSE sobre Educación en Ciencias
de la Computación (SIGCSE '98). Atlanta, Georgia.
[12] Juan Hattie. 2008.Aprendizaje visible: una síntesis de más de 800 metaanálisis relacionados con el
rendimiento. Routledge.
369
ITiCSE '20, del 15 al 19 de junio de 2020, Trondheim, Noruega
[13] John Hattie y Helen Timperley. 2007. El poder de la retroalimentación.Revisión de la
investigación educativa77, 1 (2007).
[14] Christopher D. Hundhausen y Jonathan Lee Brown. 2005. Personalización y discusión de
algoritmos dentro de las experiencias de CS1 Studio: un estudio observacional.
EnActas del 1er Taller Internacional sobre Investigación en Educación en Computación
(ICER '05). Seattle, WA.
[15] Christopher D. Hundhausen y Jonathan L. Brown. 2008. Diseño, visualización y discusión
de algoritmos dentro de una experiencia de CS1 Studio: un estudio empírico.
Informática y Educación50, 1 (2008), 301–326.
[16] Christopher D. Hundhausen, Sarah A. Douglas y John T. Stasko. 2002. Un metaestudio de
la efectividad de la visualización de algoritmos.Revista de lenguajes visuales y
computación13, 3 (2002), 259–290.
[17] Leslie Lamport. [Dakota del Norte]. El lenguaje del algoritmo PlusCal. EnActas del 6º
Coloquio Internacional sobre Aspectos Teóricos de la Computación (ICTAC '09).
[18] K. Rustán M. Leino. 2010. Dafny: un verificador automático de programas para la
corrección funcional. EnActas de la 16.ª Conferencia Internacional sobre Lógica para
Programación, Inteligencia Artificial y Razonamiento (LPAR '10). Dakar, Senegal.
[19] Robert McCartney, Dennis J. Bouvier, Tzu-Yi Chen, Gary Lewandowski, Kate Sanders, Beth
Simon y Tammy VanDeGrift. 2009. Commonsense Computing (episodio 5): Eficiencia de
algoritmos y pruebas de globo. EnActas del 5º Taller Internacional de Investigación en
Educación en Computación (ICER '09). Berkeley, CA.
[20] Aaron Meurer, Christopher P. Smith, Mateusz Paprocki, Ondřej Čertík, Sergey B.
Kirpichev, Matthew Rocklin, Amit Kumar, Sergiu Ivanov, Jason K. Moore, Sartaj
Singh, Thilina Rathnayake, Sean Vig, Brian E. Granger, Richard P. Muller,
Francesco Bonazzi, Harsh Gupta, Shivam Vats, Fredrik Johansson, Fabian
Pedregosa, Matthew J. Curry, Andy R. Terrel, Štěpán Roučka, Ashutosh Saboo,
Isuru Fernando, Sumith Kulal, Robert Cimrman y Anthony Scopatz. 2017. SymPy:
computación simbólica en Python.Informática PeerJ3 (enero de 2017), e103.
https://doi.org/10.7717/peerj-cs.103
[21] Miranda Parker y Colleen Lewis. 2014. Qué hace que el análisis Big-O sea difícil: comprender cómo
los estudiantes entienden el análisis de tiempo de ejecución.Revista de Ciencias de la
Computación en las Universidades29, 4 (2014), 164–174.
[22] Sartaj Sahni. 1999.Estructuras de datos, algoritmos y aplicaciones en C++.
Compañía editorial McGraw-Hill.
[23] Valerie J. Shute. 2008. Enfoque en la retroalimentación formativa.Revisión de la investigación
educativa78, 1 (2008).