1

Generación de acompañamiento
musical
GUILLERMO HOYO, MARCOS VÁZQUEZ, LUIS CASTILLO,
ALEXANDRU HITICAS
Resumen de la Propuesta

IP1: Guillermo Hoyo Bravo IP2: Luis Castillo Cisnero

Titulo del proyecto: Generación de Acompañamiento Musical

Acrónimo: GAM
Palabras Clave:  music generation, deep learning, generative models 
Justificación de la Propuesta

Herramientas Profesionales
Reconocer patrones Éxito
Música Simbólica

Escala

Duración de la nota
Antecedentes y actualidad de la generación de Música
Simbólica

Pre-Deep Redes Diffusion

Learning Recurrentes VAE Transformers Models

1956 2002 2015 2017 2021

Push Button Bertha MusicVAE MuseNet SMGDM
RL Tuner
ANÁLISIS DAFO
Fortalezas
• Producción de música sin background técnico.
• Personalizado según los gustos sociales.
• Utilización de técnologías novedosas pero
existentes y comprobada su éxito en tareas
similares.
Amenazas
• Agravar estados de ánimo negativos.
• Posible infracción de derechos de autor.
• Reducción de la creatividad y del proficiencia
técnica en el campo musical.
Debilidades
• Temática muy subjetiva. Métricas subjetivas.
• Aceptabilidad del arte artificial.
• Posibles sesgos derivados de los datos
utilizados.
Oportunidades
• Oportunidades comerciales.
• Simplificación de perfiles técnicos.
• Apela a la creatividad y ofrece un abanico de
posibilidades artísticas más.
Hipótesis y Propuesta

HIPÓTESIS: La dimension rítmica es más compleja que la dimension tonal.

PROPUESTA: Generar ritmos y melodías a partir de esos ritmos utilizando letras de canciones y sus sentimientos.
Objetivos

• ACADÉMICOS

Estudiar modelos de • Estudiar modelos generadores de arte

• Estudiar el dominio de la producción musical
generación de música • Generar y adquirir métricas de rendimiento de los modelos

• Million Song Dataset

Generar Dataset • The Million Playlist Dataset… Remastered + BitMidi Download
• Transformar melodías a ritmos

Diseño de un Modelo • Generar un modelo rítmico

• Generar un modelo que en base al ritmo genere la melodía
Generador de Música • Integración de ambos modelos
Objetivos

• APLICACIONES Y COLABORACIONES

Colaboraciones
Servicio Económicas

Talleres, Congresos,
Conciertos, Festivales…
Descripción de la solución

Modelo de
Difusión
Transformer
Lyrics S.A

Modelo EC2-VAE
Transformer Lyrics S.A
Calendario 

AÑO 1 AÑO 2: AÑO 3:

Recopilar Estado del Arte Adaptar el modelo de Comercialización del
en modelos de generación EC2-VAE producto
de música Entrenar con fine tuning Colaboraciones con otras
Crear dataset Enlazar el sistema de plataformas del dominio
Simbólico  Ondas difusión Organización de Charlas
Adaptar modelos de Evaluar el modelo y Congresos
difusión completo. Patrocinio de Conciertos
Evaluación por músicos Realizar modelo del y Festivales.
expertos  negocio Buscar Colaboración con
Realizar API artistas
Entregables e hitos

AÑO 1 AÑO 2: AÑO 3:

Github con implementación del modelo de
Documento del estado del arte en modelos EC2-VAE con transformers
de difusión
Artículo y github describiendo el modelo y
sus resultados

Artículo y github describiendo el dataset Artículo y github describiendo los modelos Propuestas de colaboración con negocios
utilizado unidos y sus resultados del dominio

Documento con el modelo del negocio

Artículo describiendo el modelo de diffusion
utilizado, la transformación de la entrada y
la evaluación del modelo Código y documentación de la API
Presupuesto

Puesto Número de Puestos Dinero/Puesto Total = 400 m

Cientificos de datos      4 30.000 € (1,5 año) 120.000 €

Ingenieros de datos    1 30.000 € (1,5 año) 30.000 €
Expertos en música 50 100 € (30 min) 5.000 €

Gerente 1 40.000 € (1,5 año) 40.000 €

Desarrollador 1 10.000 € (6 meses) 10.000 €

QA 1 5.000 € (3 meses) 5.000 €

Publicista 1 15.000 € (1,5 año) 15.000 €

Administrador 1 15.000 € (1,5 año) 15.000 €

Gerente de Finanzas 1 35.000 € (1,5 año) 35.000 €

Materiales 15 portatiles, Contrato Cloud (1 año) 40.000 € 40.000 €

Congresos - 20.000 € 20.000 €

Patrocinios y Marketing Publicidad, Interacción con empresas del 65.000 € 65.000 €

dominio, Conciertos, Artistas…
 Impacto esperado de los resultados

• Scientific and technological impact 

• Avanzar en la generación de música con nuevos modelos

• Generación de Música Simbólica utilizando EC2-VAE con trasformers.

• Avanzar en el estudio de las aplicaciones de los modelos de difusión

• Descubrir si los sistemas basados en difusión son útiles en la generación de música.

• Creación de un nuevo dataset simbólico con música moderna.

Resultados
DATASET SIMBÓLICO CON
MÚSICA MODERNA
Impacto Social
Impacto Económico
 Capacidad Formativa

Contacto con Grupos de

Investigación de alto nivel

Doctorado
Infraestructura y
Recursos

Conferencias
Equipo
Equipo CD Equipo Desarrollo Equipo Marketing
(CONTRATACIÓN AÑO 2)

CD_4: Guillermo Hoyo Bravo Product owner: Luis Castillo

(IP1) Cisnero (IP2) Gerente de Marketing: ???

CD_1: Ramona CD_2: Juanito DES: Susana QA: Pedrito

Ramona Juanito Susana Pedrito Marketing Marketing
Strategist: ??? Analyst: ???

CD_3: Matías ID_4: Julia

Matías Julia
Conclusiones

Innovar siguiendo las Ayuda al desarrollo del

tendencias en otros Impulsar la industria
conocimiento músical
campos musical