EXTRACCIÓN Y SEGUIMIENTO

AUTOMÁTICO DE RITMOS MUSICALES

ONLINE PARA LA COORDINACIÓN DE
MOVIMIENTOS DE UN ROBOT

Humberto José López Torres

Ing. Mecatrónico
CONTENIDO

1. Introducción
2. Objetivo del proyecto
3. Marco referencial
4. Propuesta
5. Bibliografía

Acreditada Institucionalmente por su Excelencia Académica

INTRODUCCIÓN

¿Como detectar automáticamente los

momentos de énfasis musical en una señal
de audio para el control de los movimientos
de un robot online con un algoritmo offline
ya existente?

Acreditada Institucionalmente por su Excelencia Académica

OBJETIVO DEL PROYECTO

Objetivo general
Efectuar la extracción y seguimiento automático de ritmos musicales para el control de movimientos
de un robot.

Objetivo especifico
• Adaptar el algoritmo de extracción y seguimiento de ritmos musicales offline a operaciones online
para el control de movimientos de un robot.
• Comparar el rendimiento del algoritmo offline y online con pistas de audio musical complejas o
polifónicas

Acreditada Institucionalmente por su Excelencia Académica

OBJETIVO DEL PROYECTO

• Alcances
 Se trabajará con al menos un (1) género musical.
 Se trabajará con al menos con tempos entre 110 y 130 BPM.
 Se trabajará con al menos un (1) algoritmo de beat tracking.
 Se trabajará con un robot con al menos dos (2) movimientos sobre el plano X, Y .

• Limitaciones
 El algoritmo grabará hasta 20 segundos de audio, antes de poder empezar a procesar la
información de la señal.
 Se trabajará máximo con diez (10) géneros musicales.
 No se contempla la creación de nuevos algoritmos.
 No se contempla la implementación de sistemas inteligentes.

Acreditada Institucionalmente por su Excelencia Académica

MARCO REFERENCIAL

• Palabras claves

• Beat tracking
• Onset detection
• Dynamic Programming
• Music information retrieval

Acreditada Institucionalmente por su Excelencia Académica

MARCO REFERENCIAL

• Marco teórico • Estado del arte

6 4
Detección Beat Glosario Música
de onset tracking
71

11 50 Beat
Programación
dinámica Robótica tracking

Acreditada Institucionalmente por su Excelencia Académica

PROPUESTA
Adaptación del algoritmo de extracción

• Extracción y seguimiento del beat online

¿Cómo funciona el algoritmo?

¿Beat Identificas
Escuchas cambio? el beat
Identificas Empiezas
la
el beat a moverte
canción

¿Cómo podemos bailar una canción que no conocemos?

Extracción y seguimiento de beat online

Acreditada Institucionalmente por su Excelencia Académica
BIBLIOGRAFÍA

• “beat tracking | music information retrieval python.” [Online]. Available:

https://www.analyticsvidhya.com/blog/2018/02/audio-beat-tracking-for-music-information-retrieval/.

• D. P. W. Ellis, “Beat tracking by dynamic programming,” J. New Music Res., vol. 36, no. 1, pp. 51–60,
2007.

• D. P. W. Ellis and B. McFee, “better beat tracking through robust onset aggregation Brian McFee
Center for Jazz Studies Columbia University LabROSA , Department of Electrical Engineering
Columbia University,” pp. 2173–2177, 2014.

• D. P. W. Ellis, “music audio tempo estimation and beat tracking,” 2007. [Online]. Available:
https://labrosa.ee.columbia.edu/projects/beattrack/.

• D. P. W. Ellis, “beat tracking by dynamic programming,” 2007.

Acreditada Institucionalmente por su Excelencia Académica

Gracias por su atención
MARCO REFERENCIAL

• Marco teórico • Estado del arte

• 26 autores – 32 artículos
• Implementación de filtros o bancos de
filtros.
• Detección de ONSET.
Detección Beat • Tiempo real, online, robot y software de
de onset tracking emulación.
• Método de reducción, combinados y
diferencia espectral.
• Estimación por Error medio cuadrático
mínimo.
Programación • Reducción de costo computacional.
• Aprendizaje adaptativo.
dinámica

Acreditada Institucionalmente por su Excelencia Académica

PROPUESTA
Adaptación del algoritmo de extracción

• Selección de la plataforma robótica

Dimensiones L x A x H 15 cm x 15 cm x 8 cm
Peso 500Gr
Tipo de chasis Tortuga

Estructura Robot
Sistema de locomoción Ruedas Omnidireccionales

Material de estructura PLA, HIPS

Placa Arduino Uno - Wemo D1 mini

Controlador
Voltaje de Alimentación 5 VDC - 3.3V

Corriente de Alimentación 1 ADC

Pines Digitales 14 - 13

Periféricos Bluetooth - Wifi

Alimentación de entrada 5 VDC 1.5 ADC

Batería
Acreditada Institucionalmente por su Excelencia Académica
Alimentación de Salida 5 VDC 1.0 ADC
PROPUESTA
Adaptación del algoritmo de extracción

• Selección de las canciones objeto de estudio

Acreditada Institucionalmente por su Excelencia Académica

PROPUESTA
Comparación del rendimiento del algoritmo offline y online

• Evaluación del algoritmo

Formato WAV
Bits de resolución 32 bit
Tasa de muestreo 44100 Hz
Canales de audio Mono

Desfase en 4seg: 0.589 milisegundos

Acreditada Institucionalmente por su Excelencia Académica

PROPUESTA
Comparación del rendimiento del algoritmo offline y online

• Evaluación del algoritmo offline

“Cuando se realizan pruebas para verificar el BPM, es común que exista un desfase de hasta más o
menos tres (3) en el BPM; esto se puede dar por:
• Perdida de la concentración del musico al momento de grabar.
• Cuando uno de los instrumentos pierde la marcación, adelantando o retrasando los demás
instrumentos suelen acompañarlo para corregir el error.
• Algunos géneros son resultado de improvisación y sus beat no pueden ser formalizados
completamente.
• Las canciones grabadas dentro de estudios no presentan error de marcación o son
imperceptibles, debido a que esto puede ser ajustado por el máster”

Acreditada Institucionalmente por su Excelencia Académica

PROPUESTA
Comparación del rendimiento del algoritmo offline y online

• Evaluación del algoritmo online (BPM)

Ventana de trabajo
N° Cancion 1 seg 2 seg 4 seg 5 seg 6 seg 7 seg 8 seg 16 seg 32 seg 1 min 4 seg
1 Out of touch NO NO SI SI SI SI SI SI SI SI
2 Lick it up NO SI SI SI SI SI SI SI SI SI
3 Jump NO NO NO NO NO SI SI SI SI SI
4 Billie jean NO NO NO SI SI SI SI SI SI SI
5 We will rock you NO NO SI SI SI NO SI SI SI SI
6 Cum on feel the noize NO SI SI SI SI SI SI SI SI SI
7 Psycho killer NO SI SI SI SI SI SI SI SI SI
8 Hey jude NO NO Resultados
NO SI cualitativos
SI SI SI SI SI SI

Acreditada Institucionalmente por su Excelencia Académica

PROPUESTA
Comparación del rendimiento del algoritmo offline y online

• Evaluación del algoritmo online (aciertos)

Ventana de grabación de 5 seg

N° Cancion tiempo % Total Beat Buenos Malos
1 Out of touch 32,50 77,1 48 37 11
2 Lick it up 32,55 51,1 47 24 23
3 Jump 32,46 72,7 44 32 12
4 Billie jean 32,62 75,0 52 39 13
5 We will rock you 32,44 37,5 24 9 15
6 Cum on feel the noize 32,58 63,4 41 26 15
7 Psycho killer 32,48 57,1 42 24 18
8 Hey jude 32,53 37,5 48 18 30
Resultados cuantitativos
0,52 58,9

Acreditada Institucionalmente por su Excelencia Académica

PROPUESTA
Comparación del rendimiento del algoritmo offline y online

• Evaluación del algoritmo online (marcaciones)

Ventana de 5 segundos
N° Canción % Total de beat Total de beat algoritmo
1 Out of touch 92,3 52 48
2 Lick it up 85,5 55 47
3 Jump 83,0 53 44
4 Billie jean 98,1 53 52
5 We will rock you 64,9 37 24
6 Cum on feel the noize 63,1 65 41
7 Psycho killer 77,8 54 42
8 Hey jude 137,1 35 48
Resultados cuantitativos
87,7%

Acreditada Institucionalmente por su Excelencia Académica

PROPUESTA
Comparación del rendimiento del algoritmo offline y online

• Evaluación del algoritmo online (aciertos)

Ventana de grabación de 8 seg

N° Canción tiempo % Total de beat Aciertos Errores
1 Out of touch 32,70 93,2 44 41 3
2 Lick it up 32,59 100,0 47 47 0
3 Jump 32,56 81,6 49 40 9
4 Billie jean 32,64 76,9 39 30 9
5 We will rock you 32,71 71,4 28 20 8
6 Cum on feel the noize 32,70 83,3 48 40 8
7 Psycho killer 32,53 72,1 43 31 12
8 Hey jude 32,60 44,4 45 20 25
0,63
Resultados cuantitativos
77,9%

Acreditada Institucionalmente por su Excelencia Académica

PROPUESTA
Comparación del rendimiento del algoritmo offline y online

• Evaluación del algoritmo online (marcaciones)

Ventana de 8 segundos
N° Canción % Total de beat Total de beat algoritmo
1 Out of touch 95,7 46 44
2 Lick it up 97,9 48 47
3 Jump 102,1 48 49
4 Billie jean 83,0 47 39
5 We will rock you 87,5 32 28
6 Cum on feel the noize 84,2 57 48
7 Psycho killer 89,6 48 43
8 Hey jude 150,0 30 45
Resultados cuantitativos
98,7%

Acreditada Institucionalmente por su Excelencia Académica

PROPUESTA
Comparación del rendimiento del algoritmo offline y online

• Ajustes del algoritmo

Billie jean - Michael Jackson (4.86 min)

25.00

20.00
Tiempo (Min)

15.00

10.00

5.00

0.00
1 2 3 4 5 6 7 8 9 10 11
Ajustes y cambios

Acreditada Institucionalmente por su Excelencia Académica

PROPUESTA
Comparación del rendimiento del algoritmo offline y online

• Ajustes del algoritmo

Billie jean - Michael Jackson

N° cambio Tiempo (min) % Pruebas con
1 0,58 12% Archivos WAV sin ruido (window)
2 0,58 12% Archivos WAV con ruido (window)
3 5,84 120% Grabaciones completas de micrófono (window)
4 15,57 320% Operación online (window)
5 19,47 400% Operación online (raspberry)
6 9,73 20% Operación online sistema FIFO (window)
7 8,76 80% Operación online con threading Grafica (window)
8 7,30 50% Operación online con threading sin grafica (window)
9 No funcionó Operación online con multiprocessing (window)
10 5,11 5% Operación online con threading con grafica (ubuntu)
11 4,92 1,90% Operación online con multiprocessing con grafica (ubuntu)

Acreditada Institucionalmente por su Excelencia Académica