Sonidos Sonoros

Herramientas de análisis de sonidos

sonoros

seminario de audio 2009

iie, eme
Sonidos Sonoros

Sonidos Sonoros

Casi estacionarios.
Casi periódicos.
Ej: Vocales, m, n, l, instrumentos de viento, cuerdas, etc.
Sonidos Sonoros

Representación de Sonidos Sonoros

Localmente periódicos y casi representables con una serie de

Fourier (pocos coeficientes representan la señal)
f

t
Sonidos Sonoros

¿Cómo representar un sonido sonoro?

Lenguaje que permita representar bien a los sonidos sonoros...

Entonces hay que construir un diccionario para el lenguaje que
concentre la energía en pocos elementos.
A es el diccionario
b es el audio (PCM es como usualmente se tiene)
x es una frase que describe a b usando el diccionario A.
Ax = b
Sonidos Sonoros

¿Cómo representar un sonido?

Ax = b
Si A es ortogonal, sol única.
Si A no es ortogonal, criterios:
norma 2 - min cuadrados,
norma 1
norma 0 (sol esparsa, conceptual).
Sonidos Sonoros

Sonidos Sonoros

Buena representación:
Sonidos sonoros con una descripción corta.
Y que el lenguaje sea simple (definido con pocos
parámetros).
¿Qué tiene que permitir describir el lenguaje?
Suena razonable empezar por: tiempo, frecuencia.
Sonidos Sonoros

Tiempo

Tiempo - Audio PCM

Base: deltas en tiempo discreto

Sonidos Sonoros

Tiempo

Tiempo - Audio PCM

Perfecto para representar señales de banda limitada

Ineficiente para sonidos sonoros.
Excelente localización temporal, malísima localización
frecuencial
¡nada esparso! el diccionario no sirve para describir
sonidos sonoros conceptualmente.
Sonidos Sonoros

Frecuencia

Frecuencias Fourier

Más concentradas pero ¡pero no concentra la energía en pocos

términos!
A x = b
frecuencia

tiempo
... =

-1
F {I}x=b
Sonidos Sonoros

Ppio Incertidumbre

Principio de Incertidumbre

No es posible conocer posición y cantidad de movimiento de

una partícula con precisión arbitraria.
h
∆x∆p ≥
2

No se puede tener bien definido tiempo y frecuencia de una

“partícula sonora”...
Sonidos Sonoros

Tiempo-Frecuencia

Short Time Fourier

Bases: sin, cos enventanados

Buena localización frecuencial y/o espacial

ti e
m
po
ti e
m
frecuencia
ti e
m
po
A x = b
po

tiempo
... =

F-1x=b
Sonidos Sonoros

Tiempo-Frecuencia

Transformada de Fourier de Tiempo Discreto.

Dimensiones del espacio 2: t,f

Diseño: elección de la ventana.
Sonidos Sonoros

Tiempo-Frecuencia

Y se puede mejorar la representación usando una resolución

relativa constante...
Sonidos Sonoros

Tiempo-Frecuencia

STFT Multi Resolución

Base: sin, cos, ventana variable.

Muy buena localización espacial y temporal.

ti e
m
po
ti e
m
frecuencia
ti e
m
po
A x = b
po

tiempo
... =
Sonidos Sonoros

Tiempo-Frecuencia

STFT Multi Resolución: Transformada Q (CQT,MRFFT,IIR-CQT)

Dimensión del espacio 2: t, f.

Diseño: ventana y el factor de calidad Q.
Mejor compromiso resolución tiempo-frecuencia.
Sonidos Sonoros

Chirplets

Principio de Incertidumbre.

Pero los sonidos sonoros no son partículas.

Se puede sacrificar resolución en una dimensión y ganarla en

la otra.
Sonidos Sonoros

Chirplets

Chirps , chirplets Curvelets

Base: sin, cos de frecuencia variable enventanados

¡Excelente localización temporal y/o frecuencial!

ti e
m
po
ti e
m
frecuencia
ti e
m
po
A x = b
po

tiempo
... =

F-1x=b
Sonidos Sonoros

Chirplets

Transformada Fan chirp lineal

Fase: φα (t) = (1 + 21 αt)t.

Frecuencia instantánea: fi (t) = (1 + αt)f .
Dimensión 3: t, f, α. El diseño: elección de la ventana.
Sonidos Sonoros

Chirplets

Chirplets, dimensión
frecuencia

nte
pendie
tiempo
Sonidos Sonoros

Chirplets

Chirplets, implementación

Implementación:
Generando cada chirplet y proyectando (muy costoso)
Time Warping + FFT
Sonidos Sonoros

Chirplets

Chirplets, time warping

Fan chirp transform: Time warping + FFT:

Sonidos Sonoros

Chirplets

Chirplets, time warping

Fan chirp transform: Time warping + FFT:

f f f

t t t
Sonidos Sonoros

Chirplets

Vecindad en Frecuencia/Pendiente

Campo generado por una sinusoide, sinuoides y chirps

armónicos.
sinusiode sinusoides chirps
frecuencia armónicas armónicos

pendiente
Sonidos Sonoros

Chirplets

Geometría

En módulo muy similar al Núcleo de Tensor Voting.

tangente normal

Nucleo de tensor voting

Sonidos Sonoros

Chirplets

Geometría - Propiedades

Las tres dimensiones del espacio son dependientes entre sí...

frecuencia

0
pendiente tiempo

Espacio 3D pero la dimensión en que viven los parciales de

Sonidos Sonoros

Chirplets

Fan chirp lineal + Q

Para cada parcial:

1 1
φα (t) = kf0 (1 + αt + βt 2 )t
2 3
Entonces: fi (t) = kf0 (1 + αt) es una aproximación local
Si β no es nulo, el error de aproximación es: kf0 βt 2
El rango de tiempo de validez de la aproximación disminuye
con k .
Sonidos Sonoros

Chirplets

Combinando la Fan-Chirp lineal con la transformada Q

Lo problemas se atenúan combinando la Transformada Q con

la Transformada Fan Chirp.
Tiempos de análisis más chicos para frecuencias altas hacen
un análisis más local sólo donde la aproximación lineal es
buena.
Sonidos Sonoros

Chirplets

Combinando la Fan-Chirp lineal con la transformada Q

Sonidos Sonoros

Chirplets

Chirplets Q, implementación

Implementación:
Generando cada chirplet enventado y proyectando (muy
costoso)
Time Warping + FFT + IIR-CQT
Orden: N log N = O(FFT)
Sonidos Sonoros

Chirplets

Generalizando un poco más la Fan Chirp Lineal

Fan-Chirp: Lineal
Chirps armónicos donde la fase varía cuadráticamente:

1
φα (t) = f (1 + αt)t
2
fi (t) = (1 + αt)f
Posibles mejoras:
Aproximación de orden 3 o 4.

1 1 1
φα (t) = f (1 + αt + βt 2 + γt 3 )t
2 3 4
Aprendido a partir datos reales.
Sonidos Sonoros

Chirplets

Aprendido a partir datos reales

Haciendo estadísticas de la base Ground truth Mirex 2004

tomando segmentos de frecuencia fundamental de 100ms y
normalizando respecto a la frecuencia central

f0GT (t + kT )
fi (t) = cont ∈ [−Tw /2, Tw /2]
f0GT (kT )
Haciendo PCA de todos los fi se obtiene una aproximación con
los vectores propios con mayores valores propios:
j=l
X
φα (t) = (1 + αj vj (t))t
j=1
Sonidos Sonoros

Chirplets

Aprendido a partir datos reales

Con 3 vectores propios se captura casi toda las variaciones

Distribución de las componentes principales 2 y 3 Distribución en las componentes principales 2 y 4

−0.25 −0.25

−0.2 −0.2

−0.15 −0.15

−0.1 −0.1

−0.05 −0.05
3ra componente principal

4ta componente principal

0 0

0.05 0.05

0.1 0.1

0.15 0.15

0.2 0.2

0.25 0.25
−1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 1 −1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 1
2da componente principal 2da componente principal
Sonidos Sonoros

Chirplets

Aprendido a partir datos reales

Con 3 vectores propios se captura casi toda las variaciones

Muestreo en las dimensiones de las componentes principales

0.2

0.15

0.1

0.05
Muestreo 3ra componente principal

−0.05

−0.1

−0.15

−0.2
−1.5 −1 −0.5 0 0.5 1 1.5
Muestreo 2da componente principal
Sonidos Sonoros

Chirplets

Aprendido a partir datos reales

Con 3 vectores propios se captura casi toda las variaciones

Valores propios 2,3 y 4

25

20

15

10

0
2 2.2 2.4 2.6 2.8 3 3.2 3.4 3.6 3.8 4
Sonidos Sonoros

Chirplets

Aprendido a partir datos reales

Con 3 vectores propios se captura casi toda las variaciones

Vectores propios

0.4

0.3

0.2

0.1
f/fc

−0.1

−0.2

−0.3

2 4 6 8 10 12 14 16
Tiempo
Sonidos Sonoros

Chirplets

Comparación chirplet lineal: ventana constante y Q.

Espectrograma usando Chirplet lineal, ventana constante Espectrograma usando Chirplet lineal, Q constante

1000 1000

900 900

800 800

700 700

600 600
Frecuencia

Frecuencia
500 500

400 400

300 300

200 200

100 100

20 40 60 80 100 120 140 160 180 200 20 40 60 80 100 120 140 160 180 200
Frame Frame
Sonidos Sonoros

Chirplets

Preguntas y ¿ejemplos?

Preguntas