Está en la página 1de 33

04/11/2011

SNTESIS DE SONIDO
Y
EFECTOS DE AUDIO DIGITAL
Isabel Barbancho
Profesora Titular de Universidad
Universidad de Mlaga
E.T.S. Ingeniera de Telecomunicacin
Campus de Teatinos s/n, 29071 Mlaga
Telfono: 952132587
email: ibp@ic.uma.es

Noviembre, 2011
1

Organizacin de la charla

1. Introduccin

2. Tcnicas de sntesis de sonido

3. Efectos de sonido

4. Conclusiones

1
04/11/2011

Introduccin

Qu se entiende por sntesis de sonido?


Breve historia
Notas musicales
Sonido
Percepcin del sonido
Caractersticas temporales
Caractersticas frecuenciales

Introduccin

Qu se entiende por sntesis de sonido?

Tcnicas de procesado de seal aplicadas a replicar sonidos o crear


nuevos sonidos.

Historia de la sntesis de sonido


Primer ejemplo: Vocoder 1939. Homer Dudley, Bell Laboratories
(New Jersey). Tecnologa de vlvulas

2
04/11/2011

Introduccin

Historia: Sntesis analgica


Uno de los primeros en sintetizar msica. Sintetizador de Moog.
Principios de los 50. Tecnologa de transistores.

Introduccin

Historia: Sntesis Digital

Max Matheus (Bell Lab)en los 60  generacin de sonidos por


ordenador.
Padre de la Msica por ordenador y de las DIGITAL MUSIC TOOLS
MUSIC, primer programa ampliamente empleado para generacin de sonido (1957)
No se poda usar en tiempo real  ordenadores muy lentos

3
04/11/2011

Introduccin

Historia: Sntesis Digital

John Chowning en 1966  sintesis FM  tiempo real asequible

YAMAHA realiz el chip DX-7 en los 70

Introduccin

Historia: Sntesis Digital

Julius Smith en los 80  sntesis de sonido mediante modelado


por gua de onda

En los 90 sntesis wavetable

4
04/11/2011

Notas musicales

Cada nota musical lleva asociada una determinada frecuencia


fundamental (pitch)

Escala temperada

Nota Frecuencia Nm.


(pitch) MIDI
Do4 C4 261.63 Hz 60
Re4 D4 293.66Hz 62
Mi4 E4 329.63Hz 64
Fa4 F4 349.23Hz 65
Sol4 G4 392.00Hz 67
La4 A4 440.00Hz 69
Si4 B4 493.88Hz 71
Do5 C5 493.88Hz 72
9

Notas musicales

Forma de onda en tiempo y espectro de la nota A4

Nota Frecuencia Nm.


MIDI
A4 440.00Hz 69

y = A sin(2ft )
fs=44100;
f=440;
t=0:1/fs:1;
y=sin(2*pi*f*t);
sound(y,fs)
10

5
04/11/2011

Notas musicales

Nota A4 de un piano

11

Notas musicales

Nota A4 de un clarinete

12

6
04/11/2011

Notas musicales

Nota A4 voz

13

Sonido

Sistema de generacin/recepcin de sonido

Sistema Sistema
Medio de
Generador vibratorio vibratorio Odo
radiacin
nota musical instrumento

Msico Instrumento Recinto

Calidad
Cuerda, Caja de Teatro, Saln
Expresividad membrana, resonancia de actos, aire
Partitura aire, libre,

14

7
04/11/2011

Percepcin del sonido

Caractersticas del sistema auditivo

Rango audible:
(20Hz-20kHz) 80dB
Umbral de
No presenta una respuesta
60dB Audicin
plana 40dB Audible

20dB
Bastante insensibilidad a la Inaudible
fase del espectro de los 0dB

sonidos 10Hz 100Hz 1kHz 10kHz


frecuencia

Influye en el diseo de las tcnicas de


sntesis musicales

15

Caractersticas temporales
La envolvente de la seal vara con el tiempo (ADSR)

Cada
(Decay) Relajacin
(Release)
Ataque
(Attack)
Amplitud
Sostenimiento
(Sustain)
t

Los tiempos de ataque y relajacin son los ms


determinantes en la identificacin del instrumento!!

16

8
04/11/2011

Caractersticas temporales

17

Caractersticas temporales
Instrumentos de entonacin definida y no-definida

18

9
04/11/2011

Caractersticas frecuenciales

19

Caractersticas frecuenciales
Evolucin temporal de las componentes espectrales
Transformada corta de Fourier (STFT)

0.2
L L-R
0.1

-0.1
4
x 10
-0.2
0 2 4 6 8 10
Muestras
w(m)
DFT
N

20

10
04/11/2011

Organizacin de la charla

1. Introduccin

2. Tcnicas de sntesis de sonido

3. Efectos de sonido

4. Conclusiones

21

Tcnicas de sntesis de sonido

Clasificacin

Sntesis en frecuencia
Aditiva
Sustractiva
FM
LPC

Sntesis en tiempo
Wavetable
Modelado fsico

22

11
04/11/2011

Tcnicas de sntesis de sonido

Aditiva
Sustractiva
Modulacin en anillo
SNTESIS EN
Modulacin en amplitud Modelado de ondas
(Waveshaping)
FRECUENCIA FM
Prediccin lineal (LPC)
Interpolacin espectral

Muestreo wavetable
SNTESIS EN
TIEMPO Granular
Modelado fsico 23

Tcnicas de sntesis de sonido

Aditiva
Sustractiva
Modulacin en anillo
SNTESIS EN
Modulacin en amplitud Modelado de ondas
(Waveshaping)
FRECUENCIA FM
Prediccin lineal (LPC)
Interpolacin espectral

Muestreo wavetable
SNTESIS EN
TIEMPO Granular
Modelado fsico 24

12
04/11/2011

Sntesis en frecuencia: Aditiva

Fundamento: desarrollo en serie de Fourier de seales peridicas



x (t ) = Ak sen(k 2 f 0t + k )
k =0

donde:
Ak es la amplitud de la componente k
f0 es la frecuencia fundamental de la seal
k es la fase de la componente k

Problema:
Las seales musicales no son peridicas
No se puede sumar un nmero infinito de seales
25

Sntesis en frecuencia: Aditiva

Solucin a la no periodicidad:
Aplicar STFT, de manera que se obtiene la evolucin temporal de
las componentes del espectro.
Solucin a la suma de un nmero infinito de componentes:
Eliminar las que estn fuera del rango audible (20-20.000Hz).
Simplificacin:
Insensibilidad del odo a la fase de las componentes
Expresin a utilizar:

n
x (t ) Ak (t )sen(k 2 f 0t )
k =1

26

13
04/11/2011

Sntesis en frecuencia: Aditiva

Diagrama de bloques

A1 n
x (t ) Ak (t )sen(k 2 f 0t )
k =1

f0
A2
Sonido
sintetizado
2f0

Hay que estimar


An Frecuencia f0
Nmero de armnicos n
Amplitudes Ak
27
nf0

Sntesis en frecuencia: Aditiva

Ejemplo: Do4 de un clarinete

STFT del Do4 del clarinete Aproximacin STFT del Do4 del clarinete

20

15

10

0
0
0.5
1 2500
2000
1.5 1500
1170Hz 2 1170Hz
1000
500 702Hz
702Hz 2.5 0 234Hz f(Hz)
234Hz t(s)

14
04/11/2011

Sntesis en frecuencia: Aditiva

Ejemplo: Do4 de un clarinete


Aproximacin STFT del Do4 del clarinete Aproximacin de las envolventes

20
20
15
15
10
10
5
5
0
0 0
0.5 0
1 2500
2000 0.5
1.5 1500 2500
1 2000
2
500
1170Hz
1000
1500
2.5 0 702Hz 1.5 1000
t(s)
234Hz f(Hz) 500 1170Hz
2 0 702Hz
t(s) 234Hz f(Hz)

Aprox. Lineal Do4 de un clarinete

Sntesis en frecuencia: Sustractiva

Diagrama de bloques

Instrumento
Seal de Filtro
Sonido
banda variante en
Nota sintetizado
ancha tiempo

Pulsos cuadrados Modela a ADSR

Pulsos triangulares

Diente de sierra Limitaciones en la imitacin de


sonidos naturales
Ofrece timbres muy particulares
Ruido blanco
30

15
04/11/2011

Sntesis en frecuencia: Sustractiva

La4 de un clarinete

STFT del La4 de un clarinete STFT de seal cuadrada


(armnicos impares de 440Hz) (f=440Hz)

2200Hz
1320Hz
440Hz

31

Sntesis en frecuencia: FM

Idea bsica:
El timbre de una forma de onda simple, vara si se modula en frecuencia
al dar lugar a una forma de onda ms compleja.

Seal modulada FM:


[
x FM (t ) = Ap cos[ (t )] = Ap cos[ p t + (t )] = Ap cos p t + 2 k Am xm (t )dt ]
donde:
x p (t ) = Ap cos( p t ) seal portadora
Am xm (t ) seal moduladora con xm(t)1
1 d (t )
fi (t ) = = f p + kAm xm (t ) frecuencia instantnea
2 dt
k constante de desviacin en frecuencia

32

16
04/11/2011

Sntesis en frecuencia: FM

Si la moduladora es un tono Am cos( mt )

[ ] kA
fm

x FM (t ) = Ap cos p t + 2 k Am cos( mt )dt = Ap cos p t + m sen( m t )

kAm f
I= = ndice de modulacin
fm fm

f = kAm mxima desviacin de frecuencia

f i (t ) = f p + kAm cos( mt ) frecuencia instantnea

33

Sntesis en frecuencia: FM

La relacin portadora-moduladora (fp/fm), fija la posicin de las


componentes en el espectro

Se pueden tener espectros armnicos o inarmnicos

El ndice de modulacin (I), determina la amplitud relativa de las


componentes del espectro

Su variacin en el tiempo, hace que cambie la


amplitud de las componentes as como su nmero

Hay aadir la evolucin temporal global de las notas: la envolvente


espectral (ADSR)

34

17
04/11/2011

Sntesis en frecuencia: FM

La4 de un clarinete
El espectro es armnico
y slo estn presentes
los armnicos impares
Los armnicos altos
tienen poca energa

Parmetros a definir:
fp/fm

2200Hz
ndice de modulacin
1320Hz
440Hz Envolvente espectral

35

Sntesis en frecuencia: FM

La4 de un clarinete
STFT del La4 de un clarinete
STFT del La4 de un clarinete sintetizado FM

36

18
04/11/2011

Sntesis en frecuencia: LPC


LPC Linear Predictive Coding. Muy utilizada en sntesis y
reconocimiento de voz.
Requerimientos bsicos:

Establecer un
modelo que
represente los
parmetros de la
seal que se desea
extraer.
Algoritmo de
anlisis basado en
el modelo.
Programa de
sntesis.
37

Sntesis en frecuencia: LPC


Modelo para el mecanismo de produccin del habla

pitch Sonido G
H ( z) = p
sonoro
Generador 1 ak z k
tren de pulsos k =1

x Filtro variante voz


en tiempo H(z)
Generador de
ruido aleatorio Sonido G
Parmetros del
sordo tracto vocal

Sonidos sonoros: Generados por las cuerdas vocales. Modificado por el tracto vocal. Espectro
discreto y armnico.
Sonidos sordos: producido por el aire a travs de los estrechamientos del tracto vocal. Su
espectro es continuo y de banda ancha.
38

19
04/11/2011

Sntesis en frecuencia: LPC


Relacin entre las muestras de voz y la excitacin.
p
s ( n ) = ak s ( n k ) + G u ( n )
k =1

s(n)  muestras de la seal de voz

Sistema de prediccin lineal:


p
s ( n ) = k s( n k )
~
k =1

La funcin de un sistema de prediccin lineal de orden p es:

p
P ( z ) = k z k
k =1

39

Sntesis en frecuencia: LPC


Error de prediccin:
p
s ( n ) = s(n ) k s(n k )
e( n ) = s ( n ) ~
k =1

El error de prediccin es la salida de un sistema con funcin de


transferencia:
p
A( z ) = 1 k z k
k =1
p

Comparando el error e(n) con s ( n ) = ak s ( n k ) + G u ( n )


k =1

El filtro de prediccin A(z) es el filtro inverso de H(z)

40

20
04/11/2011

Sntesis en frecuencia: LPC


Problema a resolver: determinar los coeficientes {ak} de A(z)
G
H ( z) =
A( z )
La seal de voz es variante en tiempo  los coeficientes deben estimarse
para pequeos segmentos de la seal de voz.

Encontrar {ak} que minimice el error cuadrtico medio de prediccin en un


pequeo fragmento de la forma de onda de voz.

Determinado {ak}  calcular el error  utilizarlo como entrada del filtro


H(z) = G / A(z)  reconstruir la seal de voz s[n].

Si la prediccin lineal est funcionando bien  error parecido a un tren de


impulsos (un impulso por trama).
Seal fuente  un tren de impulsos ideal para sonoros
41
Ruido  para fricativos.

Sntesis en frecuencia: LPC


Emisin de sonidos sonoros.

42

21
04/11/2011

Sntesis en frecuencia: LPC


Emisin de sonidos sonoros.

X r ( z ) = Y ( z ) H r1 ( z )

43

Sntesis en frecuencia: LPC


Emisin de sonidos sonoros.

44

22
04/11/2011

Tcnicas de sntesis de sonido

Aditiva
Sustractiva
Modulacin en anillo
SNTESIS EN
Modulacin en amplitud Modelado de ondas
(Waveshaping)
FRECUENCIA FM
Prediccin lineal (LPC)
Interpolacin espectral

Muestreo wavetable
SNTESIS EN
TIEMPO Granular
Modelado fsico 45

Sntesis en tiempo: Wavetable

Fundamento: Digitalizar el sonido original y almacenar las muestras


en una tabla de onda (Wavetable)

Seal Almacenamiento Lectura de Seal


Digitalizacin
original en wavetable las tablas sintetizada

Necesidad de optimizar la cantidad


de informacin a almacenar
46

23
04/11/2011

Sntesis en tiempo: Wavetable

Ejemplo de almacenamiento para instrumentos de entonacin


definida.
Fragmentos de seal que se repiten peridicamente
(sostenimiento) slo se almacena un periodo
Fragmentos de seal no repetitivos  se almacenan completos

Seal 0

original -1
Los fragmentos han de
-2 tener un nmero entero
0 0.5 1 1.5 2
de periodos
2
1
Seal 0
almacenada -1
-2
0 0.5 1 1.5 2

47

Sntesis en tiempo: Wavetable

Ejemplo para un piano. Se almacenan dos partes del sonido del


instrumento:
Se almacena el ataque  sonido del martillo golpeando una
cuerda del piano
Se almacena un pequeo fragmento del periodo de sustain

Cuando se toca la nota:


La parte del ataque se reproduce, seguido por una repeticin en
bucle del segmento de sostenimiento.
El segmento que se repite, se procesa para crear un
decaimiento natural del sonido

48

24
04/11/2011

Sntesis en tiempo: Wavetable

Ventajas:
Fcil de implementar
Muy buena calidad
Eficiente en el tratamiento de seales peridicas

Inconvenientes:
No es muy til para crear sonidos nuevos
Necesita mucha memoria para almacenar sonidos muestreados

49

Sntesis en tiempo: Modelado fsico


Sntesis de sonido utilizando un modelo matemtico para simular las
propiedades fsicas de la fuente del sonido.

Cook la utiliz para sintetizar voz.

El sonido se genera usando:


Resonadores: cmo vibran los elementos fsicos del instrumento
parmetros que describen los materiales fsicos
empleados en el instrumento
Generadores: excitacin que produce el sonido

interaccin del usuario con el instrumento.

Mtodo muy utilizado: Diseo de guas de onda a partir de modelos


discretos en tiempo.
50

25
04/11/2011

Calidad de los sonidos sintetizados

Proceso subjetivo de evaluacin

Categoras de calidad de sonido


Mejor
Fsicamente indistinguible Misma forma de onda
Percepcin indistinguible Diferencia inaudible
Musicalmente indistinguible Sonidos intercambiables
Musicalmente aceptable Cambio de interprete
Musicalmente diferente Instrumento distinto
Musicalmente independiente Sonidos diferentes
Peor

51

Organizacin de la charla

1. Introduccin

2. Tcnicas de sntesis de sonido

3. Efectos de sonido.

4. Conclusiones

52

26
04/11/2011

Digital Audio Effects


Efectos de audio. Utilizados por individuos involucrados en la
generacin de seales musicales.
Formas especiales de tocar de los msicos
Usos concretos de los micrfonos
Variaciones multiples de la seal de audio

Clasificacin:
Filtrado Paso alto, paso bajo, ecualizadores
Filtros variantes en tiempo Wah-wah, Phaser
Efectos de retardo Vibrato, Flanger, Chorus, Echo
Moduladores Ring modulation, Tremolo, Vibrato
Procesado no-lineal Compresin, Limitadores, Distorsin
Efectos espaciales Panning, Reverb, Surround Sound
53

Filtro variante en t: wah-wah


Filtros variantes en tiempo
Wah-wah. Filtro paso banda con frecuencia central variable y
ancho de banda estrecho. La seal filtrada se mezcla con la
seal original.

1-mix
x(n) x + y(n)

mix
x

54

27
04/11/2011

Efectos de retardo
Efectos de retardo Vibrato, Flanger, Chorus, Echo
Estructuras bsicas con filtros FIR e IIR muy sencillos.
Universal Comb Filter combinacin de FIR e IIR.

FIR Comb Filter

y ( n ) = x ( n ) + gx ( n M ) con M = / fs

55

Efectos de retardo
IIR Comb Filter
Simula una reflexin sin fin.

y ( n ) = Cx ( n ) + gy ( n M ) con M = / fs

56

28
04/11/2011

Efectos de retardo
Universal Comb Filter

BL FB FF
FIR comb 1 0 g
IIR comb 1 g 0
allpass a -a 1
delay 0 0 1

57

Efectos de retardo: Vibrato


Variacin peridica del retardo temporal

Implementacin: un retardo y un oscilador de baja frecuencia para


variar el retardo.

x(n) Z -M y(n)

Retardo tpico: 5 a 10 ms
Oscilador de baja frecuencia: 5-14Hz

58

29
04/11/2011

Efectos de retardo: Flanging


Variacin peridica del retardo temporal donde se suma tambin la
seal original.

Implementacin
G
x(n) Z -M x +
y(n)

Retardo tpico: >15 ms


Oscilador de baja frecuencia: 1Hz

59

Efectos de retardo: chorus


Simula varias voces cantanto en un unsono imperfecto.
Implementacin: Se suman varias copias de la seal de entrada
retrasadas y con variaciones aleatorias de dicho retardo.
1
x(n) x + y(n)

g1
Z M1 x +

g2
Z M2 x +

Retardo tpico: 10-25 ms.


60
Retardo vara aleatoriamente poco y despacio.

30
04/11/2011

Efectos de retardo: tabla resumen

Configuracin de varios efectos de retardo

Efecto Rango de retardos (ms) Modulacin


Resonador 0...20 Ninguna
Flanger 015 Sinusoidal
Chorus 1025 Aleatoria
Slapback 2550 Ninguna
Echo >50 Ninguna

61

Efectos moduladores
Efectos de modulacin:
Una seal de audio modula en amplitud y fase una seal
sinusoidal
Efecto Wah-wah  modulacin de amplitud
Efectos Vibrato, Chorus y Flanger  modulacin de fase

Ring Modulation: y ( n ) = x ( n ) m( n )
Voz normal Voz robot Audio ring_mod

Modulacin de amplitud: Vibrato


Tremolo con seno
y ( n ) = (1 + m( n )) x (n )
Tremolo con onda triangular62

31
04/11/2011

Efectos espaciales
Efectos de espaciales: Cambian la localizacin espacial del sonido.

Ejemplo: Introduccin de la respuesta al impulso de un determinado


espacio.

Grabar la respuesta a un pequeo impulso en el recinto (una


palmada, un golpe de tambor).

Convolucionar el sonido con la respuesta al impulso del recinto.

63

Conclusiones

Cmo caracterizar una nota musical.

Distintas tcnicas de sntesis de sonido:


Frecuencia
Tiempo

Diversas formas de introducir efectos a una seal musical.


Filtrado
Modulacin
Efectos espaciales

64

32
04/11/2011

Bibliografa
M. Russ, Sound Synthesis and Sampling, Third edition, Focal Press,
2009.
U. Zlzer, DAFX. Digital Audio Effects, Wiley, 2011.
R. Boulanger, The Csound Book, MIT Press, 2001.
D. Simn Zorita, Anlisis y Sntesis de Seales Musicales, E.U.P.
Madrid, 2000.
U. Zlzer, Digital Audio Signal Processing, Second edition, John
Wiley, 2008.
S. Bilbao, Numerical Sound Synthesis, John Wiley, 2009.
L. R. Rabiner, R. W. Schafer, Digital Processing of Speech Signals,
Prentice-Hall, 1978.
P. R. Cook, ``Singing voice synthesis: History, current work, and future
directions,'' Computer Music Journal, vol. 20, pp. 38-46, Fall 1996.
https://ccrma.stanford.edu/~jos/pasp/Digital_Waveguide_Model.html
Bonada, J., Serra, X.," Synthesis of the Singing Voice by Performance
Sampling and Spectral Models", IEEE Signal Processing Magazine,
vol.24, no. 2, pp. 67-79, 2007.
65

SNTESIS DE SONIDO
Y
EFECTOS DE AUDIO DIGITAL
Isabel Barbancho
Profesora Titular de Universidad
Universidad de Mlaga
E.T.S. Ingeniera de Telecomunicacin
Campus de Teatinos s/n, 29071 Mlaga
Telfono: 952132587
email: ibp@ic.uma.es

Noviembre, 2011
66

33