Sonidos Sonoros

Representación de sonidos sonoros

seminario de audio 2008

iie, eme
Sonidos Sonoros

Sonidos Sonoros

Casi estacionarios.
Casi periódicos.
Ej: Vocales, m, n, l, instrumentos de viento, cuerdas, etc.
Sonidos Sonoros

Representación de Sonidos Sonoros

Localmente periódicos y casi representables con una serie de

Fourier (pocos coeficientes representan la señal)
f

t
Sonidos Sonoros

¿Cómo representar un sonido sonoro?

Lenguaje que permita representar bien a los sonidos sonoros...

¿Qué es “que permita representar bien”?

Minimum Description Length (MDL)

Entonces hay que construir un vocabulario para el lenguaje.

A es el diccionario
b es el audio (PCM es como usualmente se tiene)
x es una frase que describe a b usando el diccionario A.
Sonidos Sonoros

¿Cómo representar un sonido?

Ax = b
Si A es ortogonal, sol única.
Si A no es ortogonal, criterios:
norma 2 - min cuadrados,
norma 1
norma 0 (sol esparsa, conceptual).
Sonidos Sonoros

Sonidos Sonoros

MDL:
Sonidos sonoros con una descripción corta.
Y que el lenguaje sea simple (definido con pocos
parámetros).
¿Qué tiene que permitir describir el lenguaje?
Suena razonable empezar por: tiempo, frecuencia.
Sonidos Sonoros

Tiempo

Tiempo - Audio PCM

Base: deltas en tiempo discreto

Sonidos Sonoros

Tiempo

Tiempo - Audio PCM

Perfecto para representar señales de banda limitada

Ineficiente para sonidos sonoros.
Excelente localización temporal, malísima localización
frecuencial
¡nada esparso! el diccionario no sirve para describir
sonidos sonoros conceptualmente.
Sonidos Sonoros

Frecuencia

Frecuencias Fourier

Más concentradas pero ¡no esparsa!

A x = b
frecuencia

tiempo
... =

-1
F {I}x=b
Sonidos Sonoros

Frecuencia

Frecuencia

Base: exponenciales complejas

Para señales reales: sin, cos

Representación muy poco esparsa a menos que haya

sonidos periódicos.
Excelente localización frecuencial, malísima localización
temporal.
Mejor que el tiempo para audio, concentra más la energía.
Representación concentrada pero no esparsa, se necesita un
diccionario más rico.
Sonidos Sonoros

Frecuencia

Se necesita un lenguaje de representación más flexible:

Elementos que describan tiempo y frecuencia
simultáneamente.
¡Pero frecuencia y tiempo no son independientes!
Sonidos Sonoros

Ppio Incertidumbre

Principio de Incertidumbre

No es posible conocer posición y cantidad de movimiento de

una partícula con precisión arbitraria.
h
∆x∆p ≥
2

No se puede tener bien definido tiempo y frecuencia de una

“partícula sonora”...
Sonidos Sonoros

Tiempo-Frecuencia

Short Time Fourier

Bases: sin, cos enventanados

Buena localización frecuencial y/o espacial

ti e
m
po
ti e
m
frecuencia
ti e
m
po
A x = b
po

tiempo
... =

F-1x=b
Sonidos Sonoros

Tiempo-Frecuencia

Y se puede mejorar el lenguaje usando una resolución relativa

constante...
Sonidos Sonoros

Tiempo-Frecuencia

STFT Multi Resolución ( Wavelet)

Base: sin, sos, ventana variable.

Muy buena localización espacial y temporal.

ti e
m
po
ti e
m
frecuencia
ti e
m
po
A x = b
po

tiempo
... =
Sonidos Sonoros

Chirplets

Principio de Incertidumbre.

Pero los sonidos sonoros no son partículas.

Se puede sacrificar resolución en una dimensión y ganarla en

la otra.
Sonidos Sonoros

Chirplets

Chirps , chirplets Curvelets

Base: sin, cos de frecuencia variable enventanados

¡Excelente localización temporal y/o frecuencial!

ti e
m
po
ti e
m
frecuencia
ti e
m
po
A x = b
po

tiempo
... =

F-1x=b
Sonidos Sonoros

Chirplets

Chirplets, dimensión
frecuencia

nte
pendie
tiempo
Sonidos Sonoros

Chirplets

Chirplets, implementación

Implementación:
Generando cada chirplet y proyectando (muy costoso)
Time Warping + FFT
Time Warping + FFT + LPF variable (FchQFFT)
Sonidos Sonoros

Chirplets

Chirplets vs Wavelet

Time warping + FFT:

Sonidos Sonoros

Chirplets

Chirplets, time warping

Fan chirp transform: Time warping + FFT:

Sonidos Sonoros

Chirplets

Chirplets, time warping

Fan chirp transform: Time warping + FFT:

f f f

t t t
Sonidos Sonoros

Frases

Armando frases

Sigue habiendo mucha estructura que queda afuera:

Armonicidad.
Frases más largas que chirps de 0.1 sec.
Timbre.
Sonidos Sonoros

Frases

Armonicidad

Base: Conjunto de otras bases respetando la armonía

(¿gramática?).
Una nota: Simultáneamente frecuencias K.F0 con K =
1,2,3,4,5, ...
Deltas Multidimiensionales
ti e
m
po
ti e
m
frecuencia
ti e
m
po
A x = b
po

i co
ón
m
ar

...

tiempo
...... =
Sonidos Sonoros

Frases

Armonicidad

¿Esparsidad en Armonicidad?
Las componentes en fracciones enteras de num y den chicos:

1 1 1 2 3 4 35 5
1 2......
4 3 2 3 4 3 23 4
pueden representar parte de un sonido sonoro.
Interesa la que mejor explica el conjunto.
El espacio es chico pero discreto, la localización es esparsa (1
solo elemento no nulo).
Sonidos Sonoros

Frases

Frases largas

Representando frases largas (¿+ gramática?).

Aprovenchando el ppio de incertidumbre al máximo.
Las bases: exponenciales complejas de frecuencia variable.
Implementación:
Time warping + a bandabase + LPF
Proyectando con exponenciales complejas variables + LPF
Sonidos Sonoros

Frases

Frases

Hay estructura a lo largo del tiempo, y entre armónicos.

t
Sonidos Sonoros

Frases

Preguntas

Ejemplos y Respuestas.