Toulouse, les 4 et 5 juillet 2003 Intégration doutils danalyse de la prosodie dans PFC Cyril Auran...
Transcript of Toulouse, les 4 et 5 juillet 2003 Intégration doutils danalyse de la prosodie dans PFC Cyril Auran...
Toulouse, les 4 et 5 juillet 2003
Intégration d’outils d’analyse de la Intégration d’outils d’analyse de la prosodie dans PFCprosodie dans PFC
Cyril Auran
Laboratoire Parole et Langage, UMR 6057 CNRS
5èmes Journées PFC
Disponible sur le site: http://www.lpl.univ-aix.fr/~auran/
Toulouse, les 4 et 5 juillet 2003
Avant-proposAvant-propos
Intégration d’outils dans PFC :
• Prise en compte d’un cadre méthodologique particulier (type/format des données, outils et protocoles existants)
5èmes Journées PFC
Quels outils pour PFC ?
• Niveau d’analyse (orthographe, segments, prosodie, autres ?)
• Nature des outils (assistance à l’analyse, analyse à proprement parler)
• Prise en compte des finalités du projet (description de la variabilité)
Pourquoi intégrer des outils ??
Toulouse, les 4 et 5 juillet 2003
PlanPlanRemarques préliminaires XVIIIèmistes :
De la motivation de l’intégration d’outils
I) Outils non-prosodiques
Niveau orthographique
Niveau segmental
II) Outils pour la prosodie
Ordre tonal
Ordre temporel
Conclusions et perspectives
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Remarques préliminaires (1)Remarques préliminaires (1)« […] C'est ainsi que, chaque partie étant pleine de vice
Le tout était cependant un paradis.
[…] Voilà quels étaient les bonheurs de cet État ;
Leurs crimes conspiraient à leur grandeur,
Et la vertu, à qui la politique
Avait enseigné mille ruses habiles,
Nouait, grâce à leur heureuse influence,
Amitié avec le vice.
Et toujours depuis lors
Les plus grandes canailles de toute la multitude
Ont contribué au bien commun. »
Bernard Mandeville (1714). La Fable des abeilles, ou les vices privés font le bien public
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Remarques préliminaires (2)Remarques préliminaires (2)
« […] en échafaudant n'importe quel système de gouvernement Il faut reconnaître en tout homme un
fripon qui n'a d'autre fin, dans tous ses actes, que son intérêt privé. »
David Hume (1741). « Of the Independence of Parliament » in Essays, Moral and Political , Volume I
5èmes Journées PFC
« Ainsi, sans aucune intervention de la loi, les intérêts privés et les passions des hommes les amènent à diviser
et à répartir le capital d'une société […] dans la proportion qui approche le plus possible de celle que
demande l'intérêt général de la société. »Adam Smith (1776). The Wealth of Nations
Toulouse, les 4 et 5 juillet 2003
Remarques préliminaires (3)Remarques préliminaires (3)
Motivations de l’intégration :
• Gain de productivité
• Systématisation des traitements (et des erreurs)
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Outils non-prosodiquesOutils non-prosodiques
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Outils non-prosodiques (1)Outils non-prosodiques (1)
Pour l’instant, deux niveaux d’analyse :
• Niveau orthographique
(Aisance d’utilisation, base pour d’autres traitements)
• Niveau segmental
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Outils non-prosodiques (2)Outils non-prosodiques (2)
Niveau orthographique :
Un idéal : alignement au niveau des mots
Mais
Espoirs variables en fonction des données PFC
5èmes Journées PFC
Listes de lecture de mots : alignement « Nbre-Mot »
Toulouse, les 4 et 5 juillet 2003
Outils non-prosodiques (2)Outils non-prosodiques (2)
Niveau orthographique :
Un idéal : alignement au niveau des mots
Mais
Espoirs variables en fonction des données PFC
5èmes Journées PFC
Lecture de texte : alignement « Syntagme »
ou « Phrase »
Toulouse, les 4 et 5 juillet 2003
Outils non-prosodiques (2)Outils non-prosodiques (2)
Niveau orthographique :
Un idéal : alignement au niveau des mots
Mais
Espoirs variables en fonction des données PFC
5èmes Journées PFC
Conversations : ?? (minimalement : tours de parole)
Toulouse, les 4 et 5 juillet 2003
Outils non-prosodiques (3)Outils non-prosodiques (3)
Niveau orthographique :
Outils pour l’annotation orthographique (semi-) automatique des listes de mots
get_pauses.praat : segmentation automatique à seuil
paramétrable, possibilité de vérification manuelle en cours de
traitement, option de détection de « souffle ».
add_labels.praat : transfert automatique des étiquettes avec
conservation des remarques manuelles
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Outils non-prosodiques (3)Outils non-prosodiques (3)
Illustration :
Get_pauses
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Outils non-prosodiques (4)Outils non-prosodiques (4)
Niveau orthographique :
Outils pour l’annotation orthographique (semi-) automatique des lectures de texte et des
conversations• Méthode semi-automatique envisageable (segmentation -
paramètres prosodiques locaux - puis transfert d’étiquettes)
• Méthode automatique (reconnaissance vocale et alignement automatique) plus difficile à envisager de manière réaliste
Pbm de la variabilité
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Outils non-prosodiques (5)Outils non-prosodiques (5)
Niveau segmental :
Préoccupation « originelle » du projet
2 aspects envisageables :
• Segmentation (identification de la nature et délimitation des frontières des phonèmes)
• Marquage (pointage d’un type de phonème par exemple pour analyse formantique)
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Outils non-prosodiques (6)Outils non-prosodiques (6)
Niveau segmental : Segmentation
Méthodes :
• Phonétisation : manuelle ou automatique (dico ou reco)
• Alignement : automatique (fondé sur l’utilisation de modèles phonétiques de type
HMM)
Pbm de la variabilité
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Outils non-prosodiques (7)Outils non-prosodiques (7)
Niveau segmental : Segmentation
Evaluation d’un test préliminaire d’alignement(Espesser, Ghio et Nguyen)
5èmes Journées PFC
Unités évaluées : voyelles (111 items)
2 fichiers de lecture de mots (aal1 et agm1)
Outil utilisé : Aligneur du LORIA
Toulouse, les 4 et 5 juillet 2003
Outils non-prosodiques (7)Outils non-prosodiques (7)
Niveau segmental : Segmentation
Evaluation d’un test préliminaire d’alignement(Espesser, Ghio et Nguyen)
5èmes Journées PFC
Ecarts frontière gauche : Moyenne absolue : 28 ms
Moyenne : - 16 ms (aligneur après manuel)
63% < 20 ms
82 % < 40 ms
Toulouse, les 4 et 5 juillet 2003
Outils non-prosodiques (7)Outils non-prosodiques (7)
Niveau segmental : Segmentation
Evaluation d’un test préliminaire d’alignement(Espesser, Ghio et Nguyen)
5èmes Journées PFC
Ecarts frontière droite : Moyenne absolue : 58 ms
Moyenne : - 45 ms (aligneur après manuel)
38% < 20 ms
46 % < 40 ms
Toulouse, les 4 et 5 juillet 2003
Outils non-prosodiques (7)Outils non-prosodiques (7)
Niveau segmental : Segmentation
Evaluation d’un test préliminaire d’alignement(Espesser, Ghio et Nguyen)
5èmes Journées PFC
Ecarts frontière droite : Effets contextuels (phonème suivant)
Type A : activité vocalique
Moyenne absolue : 47 ms
52 % < 20 ms / 60 % < 40 ms
Toulouse, les 4 et 5 juillet 2003
Outils non-prosodiques (7)Outils non-prosodiques (7)
Niveau segmental : Segmentation
Evaluation d’un test préliminaire d’alignement(Espesser, Ghio et Nguyen)
5èmes Journées PFC
Ecarts frontière droite : Effets contextuels (phonème suivant)
Type S : silence ou closure sourde
Moyenne absolue : 72 ms
58 % dans [60;120] ms
Toulouse, les 4 et 5 juillet 2003
Outils non-prosodiques (7)Outils non-prosodiques (7)
Niveau segmental : Segmentation
Evaluation d’un test préliminaire d’alignement(Espesser, Ghio et Nguyen)
5èmes Journées PFC
Conclusions : 1) Un alignement « décalé à droite »
2) Fiabilité insuffisante pour :
- le type de phonème généralement le mieux détecté
- Le type de parole le plus normatif (lecture de la liste de mots)
Toulouse, les 4 et 5 juillet 2003
Outils non-prosodiques (8)Outils non-prosodiques (8)
Niveau segmental : Marquage
Méthodes :
• Fondée sur une reconnaissance-alignement(phase évaluée dans la section précédente ; source d’erreur
supplémentaire)
• Fondée sur des modèles auto-regressifs gaussiens caractérisant des zones quasi-
stationnaires du signal (puis détection de l’activité vocale et localisation des voyelles cf. Vocalis, développé à l’IRIT qui implémente l’algorithme développé par R. André-Obrecht)
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Outils non-prosodiques (9)Outils non-prosodiques (9)
Conclusions
• Solutions disponibles et/ou envisageables pour un alignement orthographique à différents
niveaux ;
• Alignement automatique au niveau phonématique plus délicat : marquage plus
envisageable que segmentation
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Outils prosodiquesOutils prosodiques
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Outils prosodiques (1)Outils prosodiques (1)
Prosodie ≠ Intonation
Prosodie = Système de systèmes
3 ordres structurels (Di Cristo, 2001)
• Ordre Tonal
• Ordre Temporel
• Ordre Métrique
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Outils prosodiques (2)Outils prosodiques (2)
Ordre tonal
Différents types de caractérisation
(acoustique, phonétique, phonologique)
Différentes conceptions (interprétation
directe, modélisation holistique ou auto-
segmentale)
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Outils prosodiques (3)Outils prosodiques (3)
Ordre tonal : Momel et Intsint(Hirst, Di Cristo & Espesser, 2000)
Caractérisation phonétique/phonologique
fondée sur l’analyse automatique des
données acoustiques
Conception auto-segmentale
Réversibilité
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Outils prosodiques (3)Outils prosodiques (3)
Ordre tonal : Momel et Intsint
Approche instrumentale modulaire
• Outil Momel disponible sous la forme d’un
exécutable Unix/Windows
• Outil Intsint disponible sous la forme d’un script Perl
multi-plateforme
Pilotage global à partir de Praat
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Outils prosodiques (3)Outils prosodiques (3)
Illustration :
Momel-Intsint
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Outils prosodiques (3)Outils prosodiques (3)
Illustration : Momel-Intsint
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Outils prosodiques (4)Outils prosodiques (4)
Ordre temporel : Motemp(Auran & Di Cristo, 2003)
2 modalités pour la modélisation de la durée
subjective:
• Semi-autonome : catégorisation automatique des
unités préalablement isolées (paramètres : durée
physique, proximité de silence, vélocité F0)
• Autonome : Identification de pseudo-syllabes
(Farinas, 2002) et catégorisation automatique.
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Outils prosodiques (4)Outils prosodiques (4)
Illustration : Motemp
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
Conclusion et perspectives (1)Conclusion et perspectives (1)
5èmes Journées PFC
Intégration d’outils automatiques d’analyse dans PFC :
• Niveau orthographique -> alignement de macro-unités pour les textes lus ; alignement plus fin envisageable pour la liste de mots ;
• Niveau segmental -> segmentation délicate mais marquage envisageable ;
• Niveau prosodique -> implémentation aisée dans les ordres tonal et temporel ; l’adoption d’un cadre d’analyse unique constitue cependant un problème …
Toulouse, les 4 et 5 juillet 2003
Conclusion et perspectives (2)Conclusion et perspectives (2)
5èmes Journées PFC
Nécessité de délimitation précise :
• De normes concernant l’acquisition des données(respect des normes d’enregistrement, consignes compatibles avec un traitement automatique) ;
• De la politique de gestion des ressources informatiques
(problèmes de la diffusion des sources, des exécutables, …)
• De la place de l’analyse de la prosodie dans le cadre de PFC
(caractère obligatoire ou optionnel, méthode unique ou pas, …)