Motivación

Sistema Tararira
Evaluación y Conclusiones

Tararira: Sistema de búsqueda de música por

melodía cantada

Ernesto López Martín Rocamora

elopez@fing.edu.uy rocamora@fing.edu.uy
Instituto de Ingeniería Eléctrica
Facultad de Ingeniería de la Universidad de la República
Uruguay

10th Brazilian Symposium on Computer Music, 2005

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Sistema Tararira
Evaluación y Conclusiones

Resumen

El problema de búsqueda de música por tarareo consiste

en construir un sistema capaz de simular el proceso
cognitivo de identificar una pieza musical a partir de unas
pocas notas cantadas de su melodía. En este artículo se
describen los algoritmos de detección de altura,
segmentación de audio en notas y comparación de
melodías utilizados en el sistema Tararira. Se concentran
esfuerzos en la transcripción automática de la voz cantada
ya que es determinante en el desempeño del sistema. Para
la comparación de melodías se propone una forma de
combinar los enfoques basados en notas y series
temporales, considerados antagónicos hasta el momento.

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Sistema Tararira
Evaluación y Conclusiones

Contenido

1 Motivación
El problema
Antecedentes
Visión general del sistema

2 Sistema Tararira
Transcripción
Búsqueda

3 Evaluación y Conclusiones
Evaluación
Conclusiones

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Sistema Tararira
Evaluación y Conclusiones

Contenido

1 Motivación
El problema
Antecedentes
Visión general del sistema

2 Sistema Tararira
Transcripción
Búsqueda

3 Evaluación y Conclusiones
Evaluación
Conclusiones

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Sistema Tararira
Evaluación y Conclusiones

Contenido

1 Motivación
El problema
Antecedentes
Visión general del sistema

2 Sistema Tararira
Transcripción
Búsqueda

3 Evaluación y Conclusiones
Evaluación
Conclusiones

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Contenido

1 Motivación
El problema
Antecedentes
Visión general del sistema

2 Sistema Tararira
Transcripción
Búsqueda

3 Evaluación y Conclusiones
Evaluación
Conclusiones

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Acceso Multimedia por contenido

Query by humming systems

Melodía - razgo recordable y representativo.

Query By Humming - forma de acceso práctico y eficiente.
Procesos cognitivos - difíciles de simular automáticamente.

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Acceso Multimedia por contenido

Query by humming systems

Melodía - razgo recordable y representativo.

Query By Humming - forma de acceso práctico y eficiente.
Procesos cognitivos - difíciles de simular automáticamente.

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Acceso Multimedia por contenido

Query by humming systems

Melodía - razgo recordable y representativo.

Query By Humming - forma de acceso práctico y eficiente.
Procesos cognitivos - difíciles de simular automáticamente.

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Acceso Multimedia por contenido

Query by humming systems

Melodía - razgo recordable y representativo.

Query By Humming - forma de acceso práctico y eficiente.
Procesos cognitivos - difíciles de simular automáticamente.

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Contenido

1 Motivación
El problema
Antecedentes
Visión general del sistema

2 Sistema Tararira
Transcripción
Búsqueda

3 Evaluación y Conclusiones
Evaluación
Conclusiones

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Soluciones propuestas anteriormente

Base de datos y enfoque de búsqueda

Base de datos
Música en notación simbólica (ej. MIDI)

Enfoque de búsqueda
Comparación de notas (enfoque tradicional)
Comparación de series temporales (enfoque reciente)

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Comparación de notas

Método
Transcripción de la consulta a una secuencia de notas
Búsqueda de las mejores ocurrencias del patrón de notas

Inconvenientes
Los errores de la transcripción deterioran el desempeño

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Comparación de notas

Método
Transcripción de la consulta a una secuencia de notas
Búsqueda de las mejores ocurrencias del patrón de notas

Inconvenientes
Los errores de la transcripción deterioran el desempeño

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Comparación de series temporales

Método
Estimación de la frecuencia fundamental (F0) de la voz
Comparación con melodías codificadas como series
temporales de altura

Inconvenientes
El tiempo computacional se torna intolerable
La consulta debe ser un fragmento de melodía
previamente definido

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Comparación de series temporales

Método
Estimación de la frecuencia fundamental (F0) de la voz
Comparación con melodías codificadas como series
temporales de altura

Inconvenientes
El tiempo computacional se torna intolerable
La consulta debe ser un fragmento de melodía
previamente definido

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Contenido

1 Motivación
El problema
Antecedentes
Visión general del sistema

2 Sistema Tararira
Transcripción
Búsqueda

3 Evaluación y Conclusiones
Evaluación
Conclusiones

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Visión general del sistema Tararira

Transcripción
Estimación de F0 para establecer altura de las notas
Segmentación de audio para detectar límites entre notas
Análisis melódico para ajustar alturas a escala temperada

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Visión general del sistema Tararira

Transcripción
Estimación de F0 para establecer altura de las notas
Segmentación de audio para detectar límites entre notas
Análisis melódico para ajustar alturas a escala temperada

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Visión general del sistema Tararira

Transcripción
Estimación de F0 para establecer altura de las notas
Segmentación de audio para detectar límites entre notas
Análisis melódico para ajustar alturas a escala temperada

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Visión general del sistema Tararira

Transcripción
Estimación de F0 para establecer altura de las notas
Segmentación de audio para detectar límites entre notas
Análisis melódico para ajustar alturas a escala temperada

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Visión general del sistema Tararira

Transcripción
Estimación de F0 para establecer altura de las notas
Segmentación de audio para detectar límites entre notas
Análisis melódico para ajustar alturas a escala temperada

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Visión general del sistema Tararira

Búsqueda
Codificación de notas invariante a la altura y al tempo
Encontrar ocurrencias usando reglas de similitud flexibles
Refinamiento usando series temporales de altura

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Visión general del sistema Tararira

Búsqueda
Codificación de notas invariante a la altura y al tempo
Encontrar ocurrencias usando reglas de similitud flexibles
Refinamiento usando series temporales de altura

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Visión general del sistema Tararira

Búsqueda
Codificación de notas invariante a la altura y al tempo
Encontrar ocurrencias usando reglas de similitud flexibles
Refinamiento usando series temporales de altura

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Visión general del sistema Tararira

Búsqueda
Codificación de notas invariante a la altura y al tempo
Encontrar ocurrencias usando reglas de similitud flexibles
Refinamiento usando series temporales de altura

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación El problema
Sistema Tararira Antecedentes
Evaluación y Conclusiones Visión general del sistema

Visión general del sistema Tararira

Búsqueda
Codificación de notas invariante a la altura y al tempo
Encontrar ocurrencias usando reglas de similitud flexibles
Refinamiento usando series temporales de altura

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Contenido

1 Motivación
El problema
Antecedentes
Visión general del sistema

2 Sistema Tararira
Transcripción
Búsqueda

3 Evaluación y Conclusiones
Evaluación
Conclusiones

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Transcripción automática de voz cantada

Objetivo de la transcripción automática

La secuencia de notas que mejor representa la consulta
Notas descriptas por: altura, tiempo de inicio y duración

Problemas
Voz cantada el instrumento musical más difíciles de tratar
La consulta no está afinada a la escala temperada

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Algoritmo de detección de altura

Estimación de F0 para establecer la altura de las notas.

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Algoritmo de detección de altura

Ecuación diferencia
d(τ ) = W 2
P
j=1 (xj − xj+τ )

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Algoritmo de detección de altura

Contorno de frecuencia fudamental

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Segmentación de audio

Establecer tiempos de inicio y duraciones.

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Segmentación de audio

Límites entre notas en la voz cantada

ataque marcado - incremento de energía repentino
ataque suave - incremento de energía gradual
sin ataque - cambios de altura sin incremento de energía

Algoritmo
Busca indicios de eventos en:
la envolvente de amplitud
el contorno de frecuencia fundamental

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Cambios de energía

Envolventes en bandas Derivadas de la envolvente

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Cambios de altura

Validación de eventos débiles Cambios evidentes de altura

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Segmentación de audio

Inicio de notas

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Análisis melódico

Ajuste de la altura de las notas a la escala temperada.

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Análisis melódico

Problema
La consulta no respeta la
referencia ni los intervalos
de la escala temperada

Método de ajuste
Hipótesis: tono de
referencia en mente
Estimación mediante
la desviación más
frecuente

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Análisis melódico

Transcripción de la consulta

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Contenido

1 Motivación
El problema
Antecedentes
Visión general del sistema

2 Sistema Tararira
Transcripción
Búsqueda

3 Evaluación y Conclusiones
Evaluación
Conclusiones

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Búsqueda

Requerimientos
Una melodía puede identificarse a pesar de ser interpretada:
a diferente altura
a diferente tempo
con modificaciones o errores esporádicos

Algoritmo
El algoritmo provee:
invarianza a la altura y tempo en la codificación de notas
tolerancia a errores mediante reglas de similitud flexibles

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Codificación

Codificación invariante a la transposición de altura y al tempo.

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Búsqueda

Codificación
Intervalos de altura
A = (a1 , a2 , . . . , an ) → A = (a2 − a1 , a3 − a2 , . . . , an − an−1 )
Duraciones relativas
D = (d1 , d2 , . . . , dn ) → D = ( dd21 , dd23 , . . . , dn−1
dn
)

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Búsqueda

Encontrar buenas ocurrencias de la consulta codificada.

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Comparación de notas

Comparación de caracteres
Distancia de Edición
combinando altura y
duración
Calculada usando
Programación Dinámica

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Comparación de series temporales

Refinamiento de la selección por comparación de series

temporales de altura.

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Transcripción
Sistema Tararira
Búsqueda
Evaluación y Conclusiones

Comparación de series temporales de altura

Deformación Temporal
Dinámica Local (LDTW)
Comparación de notas permite:
Grupo reducido de
candidatos
Identificación de
fragmentos de melodía
similares

Evita restricciones de LDTW

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Evaluación
Sistema Tararira
Conclusiones
Evaluación y Conclusiones

Contenido

1 Motivación
El problema
Antecedentes
Visión general del sistema

2 Sistema Tararira
Transcripción
Búsqueda

3 Evaluación y Conclusiones
Evaluación
Conclusiones

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Evaluación
Sistema Tararira
Conclusiones
Evaluación y Conclusiones

Evaluación

Base de datos MIDI con la colección de The Beatles

Participaron más de 30 sujetos sin entrenamiento musical
Desempeño general - Primer lugar: 75 %

Canto Tarareo
Cortas Largas Cortas Largas
Número de consultas 68 242 85 32
Promedio de notas 11.15 25.81 12.03 22.40
Top 1 ( %) 73.53 76.86 75.00 83.52
Top 10 ( %) 80.88 83.06 90.62 89.41

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Evaluación
Sistema Tararira
Conclusiones
Evaluación y Conclusiones

Contenido

1 Motivación
El problema
Antecedentes
Visión general del sistema

2 Sistema Tararira
Transcripción
Búsqueda

3 Evaluación y Conclusiones
Evaluación
Conclusiones

Ernesto López, Martín Rocamora Tararira QBH system

 Motivación
Evaluación
Sistema Tararira
Conclusiones
Evaluación y Conclusiones

Conclusiones

Requerimientos de desarrollo
Un sistema de búsqueda por melodía cantada debe:
ser tolerante a errores de la consulta
no restringir la forma de cantar
retornar unicamente la pieza buscada
permitir la extensión sencilla de la base de datos

Contribuciones
Sistema de transcripción de voz suficientemente robusto
Combinación novedosa de técnicas de búsqueda

Ernesto López, Martín Rocamora Tararira QBH system

 Apéndice Referencias

de Cheveigné, A. y Kawahara, H.
Yin, a fundamental frequency estimator for speech and
music.
JASA, 111:1917–1930, 2002.
Klapuri, A.P.
Sound onset detection by applying psichoacoustic
knowledge.
ICASSP, 1999.
Pollastri, E. and Haus G.
An audio front end for query-by-humming systems.
Proc. of ISMIR, 2001.

Ernesto López, Martín Rocamora Tararira QBH system

 Apéndice Referencias

Tararira es Software Libre y puede descargarse desde:

http://iie.fing.edu.uy/investigacion/grupos/
gmm/proyectos/tararira/

Ernesto López, Martín Rocamora Tararira QBH system