Sequential prediction for budgeted learning: Application to trigger design

125 Pages·2014·5.07 MB·French

LAL14-24
UNIVERSITÉPARIS-SUD
ÉCOLE DOCTORALE D’INFORMATIQUE
THÈSE DE DOCTORAT
Soutenuele20Février2014par
Djalel BENBOUZID
Sequential prediction for budgeted learning
Applicationstotriggerdesign
Discipline: Informatique
PréparéeauLaboratoiredel’AccélérateurLinéairedel’Université
(Paris-SudXI),dansleséquipes APPSTAT et TAO
sousladirectiondeBalázs KÉGL
Jury
Rapporteurs Ludovic DENOYER UniversitéParisVI
Kilian WEINBERGER WashingtonUniversityinSt.Louis
Directeur Balázs KÉGL UniversitéParis-Sud&CNRS
Examinateurs Florence D’ALCHÉ-BUC Universitéd’Evry-Vald’Essonne
Damien ERNST UniversitédeLiège
Vladimir GLIGOROV CERN
Michèle SÉBAG UniversitéParis-Sud&CNRS
Invité Guy WORMSER UniversitéParis-Sud&CNRS
LastmodifiedonFebruary28,2014

LAL14-24
UNIVERSITÉPARIS-SUD
ÉCOLE DOCTORALE D’INFORMATIQUE
THÈSE DE DOCTORAT
Soutenuele20Février2014par
Djalel BENBOUZID
Prédiction séquentielle en apprentissage
statistique avec contraintes de budget
Applicationsàlaconceptiondetrigger enphysiquedesparticules
Discipline: Informatique
PréparéeauLaboratoiredel’AccélérateurLinéairedel’Université
(Paris-SudXI),dansleséquipes APPSTAT et TAO
sousladirectiondeBalázs KÉGL
Jury
Rapporteurs Ludovic DENOYER UniversitéParisVI
Kilian WEINBERGER WashingtonUniversityinSt.Louis
Directeur Balázs KÉGL UniversitéParis-Sud&CNRS
Examinateurs Florence D’ALCHÉ-BUC Universitéd’Evry-Vald’Essonne
Damien ERNST UniversitédeLiège
Vladimir GLIGOROV CERN
Michèle SÉBAG UniversitéParis-Sud&CNRS
Invité Guy WORMSER UniversitéParis-Sud&CNRS

Acknowledgments
Remerciements
Ilestdifficiled’exprimersagratitudeenquelquesligneslorsquel’ondoittantetà
autantdepersonnes. Jesuisparticulièrementreconnaissantenversmondirecteur
dethèse,BalázsKégl,dontl’enthousiasmescientifique,lagestion“googlienne”de
l’équipeetlaconstantebienveillanceontétéetseront,pourmoi,d’uneinspiration
incommensurable. MercipourtaconfianceBalázs.
Un grand merci aussi à Róbert Busa-Fekete, alias Robi, qui a accompagné mes
débutsauseindel’équipeAPPSTATetavecquij’aicollaboréetappris. Unepensée
particulièreva aussià monami RémiBardenetqui ale donde toujoursprésenter
lesmathématiquesavecsimplicitéetclarté.
Je voudrais aussi remercier les personnes que j’ai eu le privilège de côtoyer tout
aulongdemondoctoratpourleséchangespassionnantsetenrichissantsdontj’ai
pubénéficier,l’atmosphèrescientifiquefertilequechacunentretientetleurbonne
humeurinvariable. MerciàMarcelUrban,SylvieDagoret-Campagne,CécileGer-
main, François-David Collin, Diego Garcia Gamez, Yacine Bekri, Sourav Prasad
MishraetàDarkoVeberic. Vousm’inspirertousbeaucoupd’humilité.
J’aimerais aussi chaleureusement remercier Damien Ernst et son équipe de
recherche pour la semaine fructueuse passée à Montefiore. J’exprime aussi ma
sincère gratitude envers Vladimir (Vava) Gligorov avec qui j’ai eu le privilège de
collaboreretdontlesprécieuxconseilsm’ontétéextrêmementbénéfiques.
Il y a deux enseignants qu’il me tient à coeur de remercier, et avec beaucoup
d’humilité,monsieurSlimanipoursapassionetsonenseignementdesmathéma-
tiques (et de l’éthique d’ailleurs...) au lycée “sbitar” et madame Michèle Sébag
quiestàl’originedemonengouementpourl’apprentissagestatistique.
Je remercie chaleureusement les personnes avec qui j’ai eu l’honneur d’enseigner
àl’universitéParis-Sudetdontj’aibeaucoupappris,notammentDanielEtiemble,
MathieuDubois,MichelMenouetFrédériqueCoquelle.
Jeremercieégalementmesrapporteursainsiquetouslesmembresdemonjuryde
thèsed’avoiracceptédeparticiperàlaconcrétisationdecestroisdernièresannées
detravail.
J’aimerais aussi rendre hommage à tout le personnel administratif du LAL dont
le travail a grandement contribué au bon déroulement de cette thèse. Merci à
SylviePrandt,ValentineMarcuola,BrigitteRenard,auservicemissionetbiensûrà
FrançoiseMaréchalpoursontravailremarquableàlabibliothèqueduLAL.Merci
àStéphanieDruettaausecrétariatdel’écoledoctoraled’informatique. Merciaussi
à Estelle pour les jus d’orange pressés qui ont été essentiels durant les derniers
ii
momentsdelarédaction. Ungrandmerciauserviceinformatiqueetàl’équipede
StratusLab,notammentàCaletàMohammed.
Je suis aussi éternellement endetté envers mes parents à qui je dois tout, littérale-
ment. La distance ne les a jamais empêché d’être présents tout au long de cette
thèse. Mespenséesvontaussiàmafamillequim’atoujourssoutenuetencouragé,
àmesgrandmaspourleurdu’aa(quifaisaientcompétitionavecceuxdeHani)ainsi
qu’àtouteslespersonnesquisont“devenus”mafamilleetquiontaussi,chacune
àsamanière,contribuéàlaréalisationdecettethèse,Mohamed,Brahim,Roberto,
Zaki,Imadettantd’autres!
Merci,Lilia,pourtonadmirablesoutienetpourtaconstanteaffection.
Enfin, je me dois de rendre hommage à toute la communauté du logiciel libre et
open-sourceainsiqu’àlafondationWikimediaàquinousdevonstousbeaucoup.
Contents
1 Introduction 11
1.1 Preamble . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2 Machinelearning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3 Supervisedlearningnotation . . . . . . . . . . . . . . . . . . . . . . . 14
1.4 Thetrainingworkflow . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.5 Fastandbudgetedclassification . . . . . . . . . . . . . . . . . . . . . . 16
1.6 Similaritywithparticlephysicsexperimentsproblems . . . . . . . . . 18
1.7 TheLHCbtrigger . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.8 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2 Boostingbasedframeworks 23
2.1 Adaboost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.1.1 Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.1.2 Gradientdescentboosting . . . . . . . . . . . . . . . . . . . . . 25
2.1.3 Multi-class ADABOOST . . . . . . . . . . . . . . . . . . . . . . 27
2.2 MULTIBOOST . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.1 Implementedbaselearners . . . . . . . . . . . . . . . . . . . . 29
2.3 Cascadeclassifiers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3.1 TheoriginalViola-Jonescascade . . . . . . . . . . . . . . . . . 31
2.3.2 Improvementsandvariations . . . . . . . . . . . . . . . . . . . 34
2.4 Budgetedlearning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3 Makingdecisionsforclassification 47
3.1 Designingfastsequentialclassifiers . . . . . . . . . . . . . . . . . . . 48
3.1.1 Instance-dependentsparsity . . . . . . . . . . . . . . . . . . . 49
3.1.2 Sequentialinstance-dependentsparsity . . . . . . . . . . . . . 54
3.1.3 MDDAG:MarkovDecisionDirectedAcyclicGraph . . . . . . 55
2 Contents
3.1.4 Learningb (x)fromdelayedrewards . . . . . . . . . . . . . . 56
j
3.1.5 Thestaterepresentation . . . . . . . . . . . . . . . . . . . . . . 60
3.1.6 Thelearningalgorithm . . . . . . . . . . . . . . . . . . . . . . . 65
3.1.7 Visualizingthefinalclassifier . . . . . . . . . . . . . . . . . . . 68
3.2 Unsupervisedside-effects . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.2.1 Syntheticdata . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.2.2 MNISTexample . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.3 Discussions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.3.1 Theactionspace . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.3.2 Theinfluenceoftheorderoftheclassifiers . . . . . . . . . . . 73
3.3.3 Theevaluationcostoftheagent . . . . . . . . . . . . . . . . . 74
3.4 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.4.1 TheAdultdataset . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.4.2 TheArcenedataset . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.4.3 TheBalanceScaledataset . . . . . . . . . . . . . . . . . . . . . 77
3.4.4 TheGisettedataset . . . . . . . . . . . . . . . . . . . . . . . . . 78
3.4.5 TheLandsatSatellitedataset . . . . . . . . . . . . . . . . . . . 79
3.4.6 ThePendigitsdataset . . . . . . . . . . . . . . . . . . . . . . . 80
3.4.7 TheViola-Jonesdataset . . . . . . . . . . . . . . . . . . . . . . 81
3.5 Predictionasasequentialprocess . . . . . . . . . . . . . . . . . . . . . 82
3.5.1 Theparadigmcontinuum . . . . . . . . . . . . . . . . . . . . . 85
3.5.2 Thelearningmethod . . . . . . . . . . . . . . . . . . . . . . . . 85
3.5.3 Myopicvsnonmyopic . . . . . . . . . . . . . . . . . . . . . . . 86
3.5.4 Thefeaturesusedfortheactions . . . . . . . . . . . . . . . . . 86
3.5.5 Thetypeofactions . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.6 Conclusionandperspective . . . . . . . . . . . . . . . . . . . . . . . . 87
4 TriggerdesignintheLHCbexperiment 91
4.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.1.1 TheLHCbexperiment . . . . . . . . . . . . . . . . . . . . . . . 92
4.1.2 TheLHCbtrigger . . . . . . . . . . . . . . . . . . . . . . . . . . 92
Contents 3
4.2 TheLHCbdata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.2.1 TheDdecay . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.2.2 Datadescription . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.2.3 Thefeaturecosts . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.2.4 Thedatafilteringtrick . . . . . . . . . . . . . . . . . . . . . . . 96
4.2.5 MDDAG training . . . . . . . . . . . . . . . . . . . . . . . . . 97
4.2.6 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
4.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
5 Conclusion 107
5.1 Epilogue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
5.2 Futurework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
Bibliography 111