co-articulation des processus de transcription et compréhension dans les systèmes de dialogue

144 Pages·2006·1.27 MB·French

by  Christian Raymond

ACADÉMIE D’AIX-MARSEILLE
UNIVERSITÉ D’AVIGNON ET DES PAYS DE VAUCLUSE
THÈSE
Présentée pour obtenir le grade de Docteur en Sciences
de l’Université d’Avignon et des Pays de Vaucluse
SPÉCIALITÉ : INFORMATIQUE
Décodage conceptuel :
co-articulation des processus de
transcription et compréhension
dans les systèmes de dialogue
par
CHRISTIAN RAYMOND
Soutenue publiquement le 8 décembre 2005 devant un jury composé de :
M. Jean-Paul HATON Professeur, LORIA, Nancy Rapporteur
M. Giuseppe RICCARDI Professeur, Université, Trento Rapporteur
MmeGéraldine DAMNATI Ingénieur, France Télécom R&D, Lannion Examinateur
M. Marc EL-BÈZE Professeur, LIA, Avignon Examinateur
M. Renato DE MORI Professeur, LIA, Avignon Directeur de thèse
M. Frédéric BÉCHET Maître de Conférence, LIA, Avignon Co-directeur de thèse
Laboratoire d'Informatique
École Doctorale Science et Agronomie
Laboratoire Informatique d’Avignon
Université d'Avignon

Résumé
Les systèmes de dialogue oral homme-machine fournissent des services (consul-
tation d’horaires d’avions ou de trains, consultation de la météo, recherche de
restaurants, ...) à des utilisateurs, tout en leur offrant la possibilité de s’exprimer
en langage naturel. Ces systèmes sont couplés avec une base de données en relation
avec le service fourni. La difficulté principale est de comprendre le sens des paroles de
l’utilisateur. Pour effectuer cette tâche, la plupart des systèmes de ce type font appel à
un module de reconnaissance de la parole permettant de transformer le signal vocal
en version textuelle. Cette transcription est ensuite analysée de manière à extraire les
informations sémantiques indispensables au système pour répondre aux attentes de
l’utilisateur. Dans cette architecture séquentielle de traitement des tâches, la qualité de
l’interprétation sémantique est très dépendante de la qualité du processus de recon-
naissance automatique de la parole. Ce module utilise généralement des informations
acoustiquespourconvertirlesignalenunitéslinguistiquesdebase(phonèmes,syllabes
ou mots) et des informations linguistiques à portée réduite (N-grammes). Le module
de compréhension s’appuie sur des unités sémantiques élémentaires, que l’on appelle
concepts, qui sont ensuite composées pour obtenir une représentation sémantique.
Alternativement à l’approche séquentielle des deux processus de transcription et
compréhension, nous proposons un modèle basé sur le formalisme des transducteurs
à états fini qui met en relation les mots avec les concepts qu’ils représentent. Ce
modèle permet d’enrichir un graphe de mots avec des informations conceptuelles.
En considérant une interprétation comme étant une séquence de concepts avec leurs
valeurs, le processus de décodage proposé permet de fournir une liste structurée des
N-meilleures hypothèses d’interprétation de l’énoncé. Cette liste permet d’obtenir en
quelques hypothèses, un résumé du graphe de mots, exhaustif et non-redondant du
point de vue de la compréhension.
Afin de pallier les inévitables erreurs du processus de reconnaissance, nous
présentons ensuite des mesures de confiance utiles pour diagnostiquer la qualité
d’une interprétation. Ces mesures de confiance sont basées sur des connaissances
acoustiques, linguistiques et sémantiques. Elles opèrent sur différents niveaux : mot,
concept, phrase, etc.
Dans la dernière partie, nous proposons une stratégie d’aide à la décision pour le
gestionnaire de dialogue. Cette stratégie s’appuie sur des unités de décision prenant
en entrée la liste structurée des N-meilleures hypothèses d’interprétation ainsi que les
mesuresdeconfianceprésentées.Ensortie,chaquehypothèseestassociéeavecunétat
de fiabilité. Selon l’état et ses caractéristiques, des stratégies de correction d’erreurs
adaptées sont proposées.
iii
Abstract
In spoken dialog systems, the process of understanding consists in building a
semantic representation from some elementary semantic units called concept.
We propose in this document a SLU (Spoken Language Understanding) module.
First we introduces a conceptual language model for the detection and the extraction
of semantic basic concepts from a speech signal. A decoding process is described with
a simple example. This decoding process extracts, from a word lattice generated by an
Automatic Speech Recognition (ASR) module, a structured n-best list of interpretations
(set of concepts). This list contains all the interpretations that can be found in the word
lattice, with their posterior probabilities, and the n-best values for each interpretation.
Then we introduces some confidence measures used to estimate the quality of the
result of the previous decoding process.
Finally, we describes the integration of the proposed SLU module in a dialogue ap-
plication, involving a decision strategy based on the confidence measures introduced
before.
iv
Remerciements
JetiensàremercierMessieursGiuseppeRICCARDIetJean-PaulHATONquim’ontfait
l’honneur d’avoir été les rapporteurs de ce mémoire. Je remercie également Monsieur
Marc EL-BÈZE qui en plus de sa participation au jury a contribué à la correction et
l’amélioration de ce document.
J’ai été extrêmement heureux d’avoir Frédéric BÉCHET et Renato DE MORI comme
directeurs durant cette thèse. Leur encadrement exemplaire et particulièrement com-
plémentaire a été une chance pour moi. Je les remercie de s’être impliqués autant dans
ce travail et m’avoir fait profiter de leur expérience.
Je remercie France Télécom Recherche et Développement qui nous a fourni le
matériau nécessaire à cette étude et à toutes les personnes que j’ai eu la chance
de rencontrer lors de mes brefs séjours à Lannion. Un merci particulier à Géraldine
DAMNATI pour sa participation au jury et pour son amitié.
De façon générale, je remercie tous les membres du personnel du Laboratoire In-
formatique d’Avignon. Plus particulièrement, je pense à Yannick ESTÈVE avec qui j’ai
passé deux années de thèse, ainsi que Mireille PALPANT et Jens GRIVOLLA. Merci égale-
ment à Nathalie CAMELIN pour son amitié et son investissement dans l’organisation de
la soirée de thèse.
Merci à mes parents et à ma sœur ...
Je pourrais également remercier le sort qui a permis à l’Olympique de Marseille
et l’Inter de Milan de ne pas se rencontrer sur la scène européenne et ainsi préserver la
relation amicale que j’ai avec Renato.
v
vi
TABLE DES MATIÈRES
Introduction 1
I Systèmes de dialogue : principes généraux 5
Introduction 7
1 Transcription : modélisation statistique du langage 9
1.1 Principes généraux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2 Modélisation acoustique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3 Modélisation statistique du langage . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4 Modèle N-grammes à base de classes . . . . . . . . . . . . . . . . . . . . . . . 12
1.5 Le lissage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.5.1 Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.5.2 Décompte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.5.3 Redistribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.5.4 Lissage par repli (backing-off) . . . . . . . . . . . . . . . . . . . . . . . 14
1.6 Combinaison des modèles acoustiques et des modèles de langage . . . . . . 14
1.6.1 Fudgefactor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.6.2 Pénalité linguistique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.6.3 Utilisation des logarithmes . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.7 Espace de recherche et graphe de mots. . . . . . . . . . . . . . . . . . . . . . 15
2 Module de compréhension 17
2.1 Rôle du module de compréhension . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2 Analyse sémantique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.3 Analyse en compréhension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.1 Analyse fondée sur la grammaire de cas . . . . . . . . . . . . . . . . . 20
2.3.2 Template Matcher . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.3.3 DELPHI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.4 Phoenix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.5 TINA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.6 CHRONUS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
vii
2.3.7 CHANEL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.8 Le HUM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.9 Le HVS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.4 Coopération transcription/compréhension . . . . . . . . . . . . . . . . . . . . 24
2.4.1 Architecture deux passes . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.4.2 Architecture une passe . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3 Outils 29
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2 Les langages formels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.2.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.2.2 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.2.3 Les langages réguliers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.2.4 Expressions régulières . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.3 Grammaires formelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.3.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.3.2 Classification de Chomsky . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.4 Automates À États Fini . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.4.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.4.2 Définition d’un FSM et algorithmes associés . . . . . . . . . . . . . . . 35
3.5 Méthodes de classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.5.1 Les arbres de décision sémantique . . . . . . . . . . . . . . . . . . . . 39
3.5.2 Les algorithmes de Boosting . . . . . . . . . . . . . . . . . . . . . . . . 40
3.5.3 Les Machines à Vecteur de Support, SVMs . . . . . . . . . . . . . . . . 41
II Contribution 45
Introduction 47
4 Description des données expérimentales 51
4.1 Application AGS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.1.1 Données d’apprentissage . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.1.2 Données de test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.2 Application PlanResto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.2.1 Données d’apprentissage . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.2.2 Données de développement . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.2.3 Données de test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.2.4 Jeu d’étiquettes conceptuelles utilisé . . . . . . . . . . . . . . . . . . . 54
4.3 Évaluation de la qualité de la reconnaissance . . . . . . . . . . . . . . . . . . 57
4.3.1 Le Taux d’Erreurs Mot. . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.3.2 Le Taux d’Erreurs Concept, CER . . . . . . . . . . . . . . . . . . . . . 57
4.3.3 Taux d’Erreurs en Compréhension . . . . . . . . . . . . . . . . . . . . 59
5 Stratégie de décodage conceptuel 61
5.1 Résumé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
5.2 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
5.3 Architecture proposée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
5.4 Les entités conceptuelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
5.4.1 Représentation des concepts . . . . . . . . . . . . . . . . . . . . . . . . 65
5.5 Modèle conceptuel : un transducteur Mots/Concepts . . . . . . . . . . . . . 68
5.5.1 Outil utilisé : AT&T FSM Library . . . . . . . . . . . . . . . . . . . . . . 68
viii
5.5.2 Construction de MC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
5.5.3 Optimisation du modèle Filler No1 . . . . . . . . . . . . . . . . . . . . 69
5.5.4 Optimisation du modèle Filler No2 . . . . . . . . . . . . . . . . . . . . 70
5.5.5 Optimisation du modèle Filler No3 . . . . . . . . . . . . . . . . . . . . 70
5.5.6 Élimination des redondances et ambiguïtés intra-concept . . . . . . . 71
5.5.7 Élimination des ambiguïtés inter-concepts . . . . . . . . . . . . . . . . 75
5.6 Processus de décodage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
5.6.1 Graphe de mots vers graphe de concepts . . . . . . . . . . . . . . . . . 76
5.6.2 Application de relations sémantiques . . . . . . . . . . . . . . . . . . . 79
5.6.3 Liste des N-meilleures structurée des interprétations sémantiques . . 80
5.7 Intérêt de la liste structurée . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
5.8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
6 Mesures de confiance 87
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
6.2 Consensus de décodages en parallèle . . . . . . . . . . . . . . . . . . . . . . . 89
6.2.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
6.2.2 Augmentation de données par projection dans un espace réduit . . . 89
6.2.3 Augmentation de données par similarité . . . . . . . . . . . . . . . . . 90
6.2.4 Évaluation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
6.2.5 Raisonnement sur des situations de consensus . . . . . . . . . . . . . 92
6.3 CONS(LM) :une mesure linguistique . . . . . . . . . . . . . . . . . . . . . . . 93
6.3.1 Variante : critère de consistance sur des étiquettes morpho-
syntaxiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
6.3.2 La dépréciation des Tri-grammes peu plausibles . . . . . . . . . . . . 94
6.4 Mesure de confiance acoustique conceptuelle . . . . . . . . . . . . . . . . . . 95
6.4.1 Probabilité au niveau des mots. . . . . . . . . . . . . . . . . . . . . . . 95
6.4.2 Probabilité au niveau conceptuel . . . . . . . . . . . . . . . . . . . . . 96
6.5 Mesure de confiance conceptuelle . . . . . . . . . . . . . . . . . . . . . . . . . 96
6.5.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
6.5.2 Méthodes de classification textuelle . . . . . . . . . . . . . . . . . . . . 96
6.5.3 Quelques résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
6.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
7 Stratégie de validation 101
7.1 Stratégie par arbre de décision . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
7.2 DU : validation d’interprétation conceptuelle . . . . . . . . . . . . . . . . . . 102
1
7.2.1 Objectif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
7.2.2 Règle de décision consensuelle avec situations de confiance. . . . . . 103
7.3 DU : validation conceptuelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
2
7.3.1 Objectif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
7.3.2 Mesures de confiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
7.3.3 Application de méthodes de classification avec score de confiance . . 106
7.3.4 Validation de consensus. . . . . . . . . . . . . . . . . . . . . . . . . . . 107
7.4 Résultats de la stratégie. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
7.5 Correction d’erreurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
7.5.1 Correction d’erreurs basée sur des règles. . . . . . . . . . . . . . . . . 113
7.5.2 Corrections d’erreurs basées sur un arbre de décision . . . . . . . . . 114
7.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
8 Bilan 117
ix
Bibliographie 126
Références bibliographiques personnelles 127
x