Analyse et Synthèse du Son Musical - Université de Bordeauxhanna/ASSM/ASSMOLD/Cours/5... · 2011....
Transcript of Analyse et Synthèse du Son Musical - Université de Bordeauxhanna/ASSM/ASSMOLD/Cours/5... · 2011....
Image, Son, MultimediaAnalyse et Synthèse du Son Musical
Pierre [email protected]
Université de Bordeaux
ASSM– p.1/35
Plan
Modélisation du son
ASSM– p.2/35
Modèles
formelle
analyse
synthèse
modèle
transformationmonde
(physique)
représentation
(mathématique)réel
Analyse : peu de contrainte de temps
Synthèse :temps-réel
ASSM– p.3/35
Modèles Physiques
Origine : physique des ondes sonores (Rayleigh fin 19ème)
basés sur les modèles mathématiques d’acoustique
simulation d’un instrument
Par rapport aux autres types de modélisations:
avantages : qualité (défauts d’un instrument), contrôles réalistes,
possibilité de définir des instruments non réels, . . .
inconvénients : limites des instruments, temps de calcul (pas en temps
réel), . . .
ASSM– p.4/35
Modèles Physiques
Excitation/résonance
Paradigme masse-ressortressort représente l’élasticité (corde, peau, . . . )
déplacement longitudinal
déplacement transversal
y(x, t) = f1(t +xv)+ f2(t−
xv)
Equations différentielles
Ky′′ = ε
K : tension de la corde,ε densité massique linéaire,y déplacement
Etat intial
Conditions aux limites (extrémités fixes/libres)
Cordes vibrantes, mais aussi membranes, . . . ASSM– p.5/35
Cordes : Karplus-Strong
Algorithme de Karplus-Strong (CMJ 1983)
très efficace
H(z) = 0.5+0.5z−1
Basé sur la table d’onde, remplie au départ par des valeurs aléatoires
Répétition de la table d’onde : hauteur perçue
avec le temps, la table d’onde passe d’une onde aléatoire (bruit) à une onde quasi-périodique
Son de corde original
Son de corde 1
Son de corde 2
Son de corde 3
Son de corde 4ASSM– p.6/35
Karplus-Strong pour les batteries
Légère modification: ajout d’une probabilitép
probabilitép d’avoir
y(n) =12(y(n−N)+y(n−N−1))
probabilité 1− p d’avoir
y(n) =−12(y(n−N)+y(n−N−1))
Résultats différents selon les valeurs dep
Si p= 1 : corde
Si p= 0.5 : perte de la périodicité et génère un son de percussion
Si p= 0 : coupe en partie les périodicités et génère un son de type harpe
ASSM– p.7/35
Modèles Physiques
Autres exemples:
Waveguide Synthesis(89, Yamaha)
Trajet de l’onde sonore le long d’un tuyau ou d’une corde
Instruments à cordes et à vent
Synthétiseurs commerciaux (Clavia Nord, Yamaha VL1, . . . )
Synthèse de la voix
Modèle source/filtre
Résonances : forme de l’enveloppe spectrale, notamment les
formants
ASSM– p.8/35
Modèles Physiques
Exemples de sons issus de la modélisation physique :
Violoncelles
Clarinettes/hautbois
Cuivres
Orgue
ASSM– p.9/35
Modèles abstraits
Modèles abstraits : modèles de synthèseuniquement
Paramètres mathématiques
synthèse de sons complexes à partir d’entitéssimples
généralement des oscillateurs
Deux exemples les plus connus :synthèse FMet synthèse AM
ASSM– p.10/35
Modèles spectraux
Son est représenté par une somme d’oscillateurs
Historique:
Dès années 1903 pour films russes. . .
Années 30: vocoder (voice coder) développé par Dudley (Bell Telephone
Laboratories)
Années 60: phase vocoder (Flanagan/Golden)
Utilisation pour la musique (Risset, années 60)
Exemples de modélisations de voix:
1939
1951
. . .
Avec expressivité
ASSM– p.11/35
Phase Vocoder par FFT
Vocoder : modification de la transformée de Fourier à court-terme
Calculer la FFT (trames, chevauchement, fenêtrage)
Pour chaque bink
calcul de l’amplitude
calcul de la phase
Calcul de la fréquence instantanéeFk(m) pour lemème bin :
F =1
2πdφdt
Fk(m) =θk(m)−θk(m−1)+2pπ
2π(tm− tm−1
Fk(m) =θk(m)−θk(m−1)
2π NFe
ASSM– p.12/35
Phase Vocoder par FFT
Utilisation:
Compression
Traitement parole
Supression reverbération
Réduction de bruit
Limites
Bruit
Attaques
Modulations fréquence/amplitude (vibrato/tremolo)
ASSM– p.13/35
Modèles sinusoïdaux[McAulay, Quatieri (IEEE TASSP, 1986)]
applications [Smith, Serra 1986]
Le signal audiosest donné dans le domaine temporel par:
s(t) =P
∑p=1
ap(t)cos(φp(t))
s(t) =P
∑p=1
ap(t)cos(2π fp(t)t +φp(0))
oùP est le nombre de partiels et
φp(t) = φp(0)+2π∫ t
0fp(u)du (1)
Les fonctionsfp(t), ap(t) et φp(t) sont, respectivement,
la fréquence, l’amplitude et la phase dup-ième partiel.
Ces paramètres varient lentement dans le temps. ASSM– p.14/35
Analyse sinusoïdale
Attention : approximations dans le spectre discret
spectrediscret
erreurs sur les amplitudes
erreurs sur les fréquences
erreurs sur les phases
signal fini
Effets du fenêtrage
Résolution temporelle/fréquentielle
Une ou plusieurs sinusoïdes dans un bin ?
ASSM– p.15/35
Détection de pics
Maximum local dans le spectre d’amplitude
Amélioration de la précision fréquentielle nécessaire
Zéro padding
Interpolations (parabolique par exemple)
ASSM– p.16/35
Sinusoïdes/Partiels
Différences entre partiels et sinusoïdes
Tout spectre variant dans le temps peut être considéré commeune somme
de sinusoïdes variant dans le temps (phase vocoder)
La plupart des bins d’un spectre ne correspondent pas à un vrai partiel
Partiels peuvent être modélisés par des sinusoïdes variantlentementdans
le temps
Méthodes d’indentification:
Forme du spectre (amplitude et/ou phase)
Relation entre deux partiels successifs
Evolution dans le temps
ASSM– p.17/35
Trouver les partiels
partiel : maximum local (pic) dans le spectre|S|(composante sinusoïdale d’un son)
1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 110000
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Ampli
tude
Fréquence
FFT
paramètres du partielp: fréquencefp, amplitudeap, phaseφp
ASSM– p.18/35
Partiels
Tout ne peut pas être modélisé par des sinusoïdes
Spectre d’amplitude d’un son de flûte
ASSM– p.19/35
Suivi de partiels
Méthode d’analyse sinusoïdale :
un partiel est supposé présent pour chaque maximum local (méthode
naïve)
l’analyse essaye de relier les partiels trouvés d’une fenêtre sur l’autre
(peak tracking)
au final : suivi de partiels permet d’analyser les harmoniques d’un son
ASSM– p.20/35
Suivi de partiels
McAulay/Quatieri
Suivi d’un partiel sur la fréquence la plus proche
Si aucun pic correspondant :mort du partiel
Si nouveau partiel sans précédent :naissanced’un partiel
ASSM– p.21/35
Suivi de partiels
SMS (Serra/Smith)
Etatendormi(erreurs d’analyse éventuelles)
Adaptation aux sons harmoniques (recherche deguidessur les
harmoniques)
ASSM– p.22/35
Suivi de partiels (2)
20 40 60 80 100 1200
1000
2000
3000
4000
5000
6000
Frame number
Fre
quen
cy (
Hz)
Peak tracking
ASSM– p.23/35
Modèle sinusoïdal: un exemple
amplitude
fréquence
temps
fréquence
amplitude
temps
saxophone alto
ASSM– p.24/35
Suivi de partiels (3)
Problèmes
Croisement de partiels
Vibrato, tremolo, . . .
Améliorations
HMM (Depalle 93)
Prédiction linéaire des évolutions de fréquences (Lagrange 03)
Analyse sinusoïdale de paramètres (Raspaud 06)
ASSM– p.25/35
Modèles hybrides
Limites des modèles sinusoïdaux pour les sons complexes :
Séparation du son en plusieurs composantes
Partiels
Transitoires
Bruit (résidu)
Traitement indépendant de chaque composante
Fusion des composantes pour la synthèse
ASSM– p.26/35
Modèles Sinus+Bruit
SMSSerra/Smith 1989
s(t) =P
∑p=1
ap(t)cos(φp(t))+e(t)
e(t) : composant résiduel (ou bruit)
Bruit blanc filtré
Obtenu par soustraction spectrale:
e(t) = s(t)−P
∑p=1
ap(t)cos(φp(t))
ASSM– p.27/35
Soustraction
Besoin d’interpoler la phase. . .
ASSM– p.28/35
Soustraction spectrale
|Er(k)|= ||Xr(k)|− |Dr(k)||Soustraction des spectres d’amplitude
Pas besoin d’avoir les informations de phase de la partie sinsuoïdale
inutile pour la soustraction spectrale
inutile pour la partie résiduelleASSM– p.29/35
Modèles Sinus+Bruit
Exemples:
Piano
Guitare
Conga
ASSM– p.30/35
Modèles Sinus+Bruit
SMSSerra/Smith 1989
ASSM– p.31/35
Modèles non hybrides
Fitz 1998
Son : somme de sinusoïdes bruitée
yn = A(√
1−K++√
2K[δn∗hn]).exp( jωcn)
Partiel centré enωc
K proportion de bruit
δn bruit blanc
hn réponse impulsionnelle (enveloppe du bruit)
ASSM– p.32/35
Modèles Sinus+Attaques+Bruit
STNVerma/Smith
ASSM– p.33/35
Modèles Sinus+Attaques+Bruit
Autre approche (Nsabimana/Zölzer 2008)
Détection précise des transitoires
Supression
Extrapolation du signal pour combler lestrous
Applications :
ASSM– p.34/35
Modèles Sinus+Attaques+Bruit
Exemples
Analyse
Etirement temporel
ASSM– p.35/35