On temporal coherency of probabilistic models for audio-to-score alignment

261 Pages·2017·3.15 MB·English

by  Philippe Cuvillier

On temporal coherency of probabilistic models for
audio-to-score alignment
Philippe Cuvillier
To cite this version:
PhilippeCuvillier. Ontemporalcoherencyofprobabilisticmodelsforaudio-to-scorealignment. Sound
[cs.SD]. Université Pierre et Marie Curie - Paris VI, 2016. English. ￿NNT: 2016PA066532￿. ￿tel-
01448687v2￿
HAL Id: tel-01448687
https://hal.inria.fr/tel-01448687v2
Submitted on 23 May 2017
HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est
archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents
entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non,
lished or not. The documents may come from émanant des établissements d’enseignement et de
teaching and research institutions in France or recherche français ou étrangers, des laboratoires
abroad, or from public or private research centers. publics ou privés.
THÈSE DE DOCTORAT DE
l’UNIVERSITÉ PIERRE-ET-MARIE-CURIE
Spécialité
Informatique
École doctorale Informatique, Télécommunications et Électronique (Paris)
Présentée par
Philippe CUVILLIER
Pour obtenir le grade de
DOCTEUR de l’UNIVERSITÉ PIERRE-ET-MARIE-CURIE
Sujet de la thèse :
On temporal coherency of probabilistic models for audio-to-score
alignment
à soutenir le 15 décembre 2016
devant le jury composé de :
Olivier Cappé
Arshia Cont
Yann Guédon
Sophie Mercier
Christopher Raphael
Philippe Cuvillier, On temporal coherency of probabilistic models for audio-to-score
alignment, © December 2016
supervisor:
Arshia Cont
ABSTRACT
This thesis deals with automatic alignment of audio recordings with corresponding
music scores. We study algorithmic solutions for this problem in the framework of
probabilistic models which represent hidden evolution on the music score as stochastic
process. We begin this work by investigating theoretical foundations of the design of
such models. To do so, we undertake an axiomatic approach which is based on an appli-
cationpeculiarity:musicscoresprovidenominaldurationforeachevent,whichisahint
for the actual and unknown duration. Thus, modeling this specific temporal structure
through stochastic processes is our main problematic. We define temporal coherency as
compliance with such prior information and refine this abstract notion by stating two
criteria of coherency. Focusing on hidden semi-Markov models, we demonstrate that
coherency is guaranteed by specific mathematical conditions on the probabilistic de-
sign and that fulfilling these prescriptions significantly improves precision of alignment
algorithms. Such conditions are derived by combining two fields of mathematics, Lévy
processes and total positivity of order 2. This is why the second part of this work is a
theoretical investigation which extends existing results in the related literature.
3

RÉSUMÉ
Cette thèse porte sur l’alignement automatique d’un enregistrement audio avec la par-
tition de musique correspondante. Nous adoptons une approche probabiliste et pro-
posons une démarche théorique pour la modélisation algorithmique de ce problème
d’alignement automatique. La question est de modéliser l’évolution temporelle des évé-
nements par des processus stochastiques. Notre démarche part d’une spécificité de
l’alignement musical : une partition attribue à chaque événement une durée nominale,
qui est une information a priori sur la durée probable d’occurrence de l’événement.
La problématique qui nous occupe est celle de la modélisation probabiliste de cette
information de durée. Nous définissons la notion de cohérence temporelle à travers plu-
sieurs critères de cohérence que devrait respecter tout algorithme d’alignement musical.
Ensuite, nous menons une démarche axiomatique autour du cas des modèles de semi-
Markov cachés. Nous démontrons que ces critères sont respectés lorsque des conditions
mathématiques particulières sont vérifiées par les lois a priori du modèle probabiliste
de la partition. Ces conditions proviennent de deux domaines mathématiques jusqu’ici
étrangers à la question de l’alignement : les processus de Lévy et la totale positivité
d’ordre deux. De nouveaux résultats théoriques sont démontrés sur l’interrelation entre
ces deux notions. En outre, les bienfaits pratiques de ces résultats théoriques sont dé-
montrés expérimentalement sur des algorithmes d’alignement en temps réel.
5

TABLE OF CONTENTS
List of Symbols and Acronyms 11
List of Figures 13
List of Tables 15
1 introduction 17
1.1 Summary of Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.2 Organization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2 background & motivation 23
2.1 Applicative Motivations: Music-to-Score Alignment . . . . . . . . . . . . 23
2.1.1 Task Description . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.1.2 Representing Music Scores . . . . . . . . . . . . . . . . . . . . . . 26
2.1.3 State-of-the-Art . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2 Scientific Background: Generative Probabilistic Models . . . . . . . . . . 28
2.2.1 State-Space Models and Bayesian inference . . . . . . . . . . . . 28
2.2.2 Observation Models for Music Alignment . . . . . . . . . . . . . 30
2.2.3 State Space Modeling of Music Scores . . . . . . . . . . . . . . . 32
2.3 Discrete State-Space Models . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.3.1 Hidden Markov Models . . . . . . . . . . . . . . . . . . . . . . . 34
2.3.2 Hidden Semi-Markov Models . . . . . . . . . . . . . . . . . . . . 37
2.4 Continuous State-Space Models . . . . . . . . . . . . . . . . . . . . . . . 38
2.4.1 Continuous versus Discrete Representations . . . . . . . . . . . . 38
2.4.2 Gaussian Random Walks . . . . . . . . . . . . . . . . . . . . . . 39
2.5 Problematic: Designing Coherent Probabilistic Models . . . . . . . . . . 41
2.5.1 Modeling Prior Information of Duration . . . . . . . . . . . . . . 41
2.5.2 Choice of Decoding Method . . . . . . . . . . . . . . . . . . . . . 42
2.5.3 Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3 coherent inference of equivalent sequences 47
3.1 Statement of Criterion of Coherency . . . . . . . . . . . . . . . . . . . . 47
3.2 Coherent State Inference: From Linear Semi-Markov Chains to Lévy
Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.2.1 Characterization: Infinitely Divisible Distributions and Convolu-
tion Semigroups . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.2.2 Relating Position to Occupancy . . . . . . . . . . . . . . . . . . . 52
3.2.3 InterpretingCoherentSemi-MarkovChainswithContinuousPro-
cesses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.3 Unification of Continuous and Discrete Models . . . . . . . . . . . . . . 56
3.3.1 Generalizing Continuous Position Models with Random Walks . 57
7
8 table of contents
3.3.2 Continuous Position Models with Non-Decreasing Paths . . . . . 58
3.3.3 Comparison of Continuous and Discrete Position Processes . . . 59
3.3.4 Equivalence with Poisson / Gamma Process . . . . . . . . . . . . 61
3.4 Coherent State-Sequence Inference . . . . . . . . . . . . . . . . . . . . . 62
3.4.1 Proposition: Characterizing Coherent Distributions . . . . . . . . 62
3.4.2 Proof of Propositions . . . . . . . . . . . . . . . . . . . . . . . . . 65
4 coherent modeling of nominal durations: state estimation 71
4.1 Time-Coherency of Inference under Non-Discriminative Observation . . 71
4.1.1 Statement of Coherency Criterion. . . . . . . . . . . . . . . . . . 72
4.2 Incoherency of Viterbi State Estimation . . . . . . . . . . . . . . . . . . 73
4.3 Coherency of Forward State Estimation . . . . . . . . . . . . . . . . . . 74
4.4 Case Study: Coherency on 2-State Chain . . . . . . . . . . . . . . . . . . 76
4.4.1 Introduction and Definitions. . . . . . . . . . . . . . . . . . . . . 76
4.4.2 Bound on Time: the Median . . . . . . . . . . . . . . . . . . . . . 78
4.4.3 Validity of the Criterion and Stochastic Orders . . . . . . . . . . 78
4.4.4 Bounds on Event Duration . . . . . . . . . . . . . . . . . . . . . 81
4.5 Generalization to N-State Chains . . . . . . . . . . . . . . . . . . . . . . 83
4.5.1 Bound on Time . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.5.2 Monotone Semi-Markov Chains . . . . . . . . . . . . . . . . . . . 84
4.6 Special Case of Lévy Processes . . . . . . . . . . . . . . . . . . . . . . . 87
4.6.1 Reduction of N-State Problem to 3-State Problem . . . . . . . . 87
4.6.2 Validity of the Criterion and Stochastic Orders . . . . . . . . . . 88
4.6.3 Validity of the Criterion on Infinitely Long Chains . . . . . . . . 91
4.6.4 Case Study: Poisson and Negative Binomial Distributions . . . . 95
4.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5 coherent modeling of nominal durations: state-sequence
estimation 97
5.1 Coherency of Backtracking Estimation . . . . . . . . . . . . . . . . . . . 97
5.1.1 Definition of Backtracking Methods . . . . . . . . . . . . . . . . 97
5.1.2 Statement of Coherency Criterion. . . . . . . . . . . . . . . . . . 99
5.2 Coherency of Right-Censored Backtracking . . . . . . . . . . . . . . . . 103
5.2.1 Case of Short Durations T . . . . . . . . . . . . . . . . . . . . . . 103
5.2.2 Case of Long Durations T . . . . . . . . . . . . . . . . . . . . . . 105
5.2.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5.3 Coherency of Constrained Endtime Backtracking . . . . . . . . . . . . . 110
5.3.1 Case of Continuous-Time Distributions. . . . . . . . . . . . . . . 111
5.3.2 Case of Discrete-Time Distributions . . . . . . . . . . . . . . . . 112
5.3.3 Justifications for Coherent Behavior . . . . . . . . . . . . . . . . 115
5.3.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
6 application to audio-to-score alignment and experiments 119
6.1 Summary of Results and Literature Review . . . . . . . . . . . . . . . . 119
6.1.1 Prescriptions on Duration Model . . . . . . . . . . . . . . . . . . 119
6.1.2 Comparison with Duration Models in the Literature . . . . . . . 120
table of contents 9
6.1.3 Duration Model with Best Time-Coherency . . . . . . . . . . . . 121
6.2 Evaluation of Audio-to-Score Alignment . . . . . . . . . . . . . . . . . . 121
6.2.1 Assessment Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . 121
6.2.2 Evaluation Data Model . . . . . . . . . . . . . . . . . . . . . . . 122
6.3 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
6.3.1 Description of Datasets . . . . . . . . . . . . . . . . . . . . . . . 123
6.3.2 Description of Experiments . . . . . . . . . . . . . . . . . . . . . 125
6.3.3 Results and Discussions . . . . . . . . . . . . . . . . . . . . . . . 125
6.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
7 lévy processes and total positivity 129
7.1 Relating Lévy Processes to their First-Passage Times . . . . . . . . . . . 129
7.1.1 Review of Existing Results . . . . . . . . . . . . . . . . . . . . . 130
7.1.2 Proposal for Non-Decreasing Processes . . . . . . . . . . . . . . . 131
7.1.3 Proposal for Continuous-Time Markov Chains . . . . . . . . . . . 133
7.1.4 Proposal for Lévy Processes . . . . . . . . . . . . . . . . . . . . . 136
7.1.5 Special Case of Compound Poisson Processes . . . . . . . . . . . 141
7.2 Distributional Properties of Lévy Processes . . . . . . . . . . . . . . . . 142
7.2.1 Known Properties . . . . . . . . . . . . . . . . . . . . . . . . . . 143
7.2.2 New Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
7.3 Applications to Common Lévy processes . . . . . . . . . . . . . . . . . . 152
7.3.1 Log-Concavity of Special Functions . . . . . . . . . . . . . . . . . 152
7.3.2 Case of Stable Distributions . . . . . . . . . . . . . . . . . . . . . 152
7.3.3 Case of Chi and Chi-Square Laws . . . . . . . . . . . . . . . . . . 153
8 further results on total positivity 155
8.1 Preservation of Unimodality and Related. . . . . . . . . . . . . . . . . . 155
8.1.1 Introduction & Motivation. . . . . . . . . . . . . . . . . . . . . . 155
8.1.2 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
8.1.3 Preservation of Unimodality . . . . . . . . . . . . . . . . . . . . . 159
8.1.4 Preservation of Half Log-concavity . . . . . . . . . . . . . . . . . 160
8.1.5 Applications. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
8.1.6 Conclusion & Perspectives . . . . . . . . . . . . . . . . . . . . . . 161
8.2 Preservation of Log-concavity and Related . . . . . . . . . . . . . . . . . 162
8.2.1 Case of Log-concavity and Log-convexity . . . . . . . . . . . . . 162
8.2.2 Case of Ultra-log-concavity and Ultra-log-convexity . . . . . . . . 163
8.2.3 Generalization with Relative Log-concavity Order . . . . . . . . 165
8.2.4 Conclusion & Perspectives . . . . . . . . . . . . . . . . . . . . . . 169
8.3 Preservation of DRHR and IHR Properties . . . . . . . . . . . . . . . . 170
8.3.1 Preservations Results. . . . . . . . . . . . . . . . . . . . . . . . . 170
8.3.2 Relationship with Convolution Classes . . . . . . . . . . . . . . . 171
8.3.3 Conclusion & Perspectives . . . . . . . . . . . . . . . . . . . . . . 176
8.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
9 conclusion & perspectives 177