Efficient Visual SLAM for Autonomous Aerial Vehicles

142 Pages·2017·7.58 MB·English

by  Sebastian A. Scherer

Efficient Visual SLAM for Autonomous
Aerial Vehicles
Dissertation
derMathematisch-NaturwissenschaftlichenFakulta¨t
derEberhardKarlsUniversita¨tTu¨bingen
zurErlangungdesGradeseines
DoktorsderNaturwissenschaften
(Dr.rer.nat.)
vorgelegtvon
Dipl.-Inform. Sebastian A. Scherer
ausWaiblingen
Tu¨bingen
2016
Gedruckt mit Genehmigung der Mathematisch-Naturwissenschaftlichen Fakulta¨t der
EberhardKarlsUniversita¨tTu¨bingen.
Tagdermu¨ndlichenQualifikation: 12.Dezember2016
Dekan: Prof.Dr.WolfgangRosenstiel
1.Berichterstatter: Prof.Dr.AndreasZell
2.Berichterstatter: Prof.Dr.AndreasSchilling
3.Berichterstatter: Prof.Dr.Horst-MichaelGroß
To my parents, Eberhard and Elenore

Abstract
Thegeneralinterestinautonomousorsemi-autonomousmicroaerialvehicles(MAVs)is
strongly increasing. There are already several commercial applications for autonomous
micro aerial vehicles and many more being investigated by both research institutes and
multiple financially strong companies. Most commercially available applications, how-
ever, are rather limited in their autonomy: They rely either on a human operator or
reliablereceptionofglobalpositioningsystem(GPS)signalsfornavigation.
TrulyautonomousmicroaerialvehiclesthatcanalsoflyinGPS-deniedenvironments
such as indoors, in forests, or in urban scenarios, where the GPS signal may be blocked
by tall buildings, clearly require more on-board sensing and computation potential. In
this dissertation, we explore autonomous micro aerial vehicles that rely on a so-called
RGBDcameraastheirmainsensorforsimultaneouslocalizationandmapping(SLAM).
Several aspects of efficient visual SLAM with RGBD cameras aimed at micro aerial
vehiclesarestudiedindetailwithinthisdissertation:
We first propose a novel principle of integrating depth measurements within visual
SLAM systems by combining both 2D image position and depth measurements. We
modify a widely-used visual odometry system accordingly, such that it can serve as a
robustandaccurateodometrysystemforRGBDcameras.
Based on this principle we go on and implement a full RGBD SLAM system that
cancloseloopsandperformglobalposegraphoptimizationandrunsinreal-timeonthe
computationallyconstrainedonboardcomputerofourMAV.
We investigate the feasibility of explicitly detecting loops using depth images as op-
posed to intensity images with a state of the art hierarchical bag of words (BoW) ap-
proachusingdepthimagefeatures.
SinceanMAVflyingindoorscanoftenseeaclearlydistinguishablegroundplane,we
develop a novel efficient and accurate ground plane detection method and show how to
usethistosuppressdriftinheightandattitude.
Finally, we create a full SLAM system combining the earlier ideas that enables our
MAVtoflyautonomouslyinpreviouslyunknownenvironmentswhilecreatingamapof
itssurroundings.
v
Kurzfassung
DasallgemeineInteresseanautonomenoderhalb-autonomenkleinenunbemanntenFlug-
zeugen, auch als Micro Aerial Vehicles (MAV) bekannt, wa¨chst stetig. Es gibt bereits
mehrere kommerzielle Anwendungen solcher autonomer Flugobjekte und viele weite-
re sind aktuell in der Entwicklung: Nicht nur in Forschungsinstituten, sondern auch bei
einigen finanzstarken Firmen. Die meisten bereits existierenden Lo¨sungen sind in ih-
rerAutonomieallerdingsnochimmerstarkeingeschra¨nkt:Sieerfordernentwedereinen
menschlichenPilotenamBodenoderdenzuverla¨ssigenEmpfangeinesGPS-Signalszur
sicherenNavigation.
Wirklich autonome unbemannte Flugobjekte, die auch in Umgebungen ohne GPS-
Empfang fliegen ko¨nnen, also im Inneren von Ha¨usern, in Wa¨ldern, oder auch in Stadt-
gebieten mit hohen Geba¨uden, die das GPS-Signal abschirmen ko¨nnen, beno¨tigen mehr
Sensorik und damit auch mehr Rechenleistung an Bord. Diese Dissertation bescha¨ftigt
sich mit unbemannten Flugobjekten, die eine sogenannte RGBD-Kamera als Hauptsen-
sor zur visuellen Selbstlokalisierung bei gleichzeitiger Kartierung (Simultaneous Loca-
lization and Mapping, SLAM) besitzen. Weiterhin untersuchen wir diverse Aspekte ef-
fizienter visueller SLAM-Algorithmen fu¨r RGBD Kameras im Hinblick auf den Einsatz
aufkleinenunbemanntenFlugobjekte:
Zuna¨chst stellen wir eine neuartige Methode vor, um Tiefenmessungen in visuellem
SLAM zu beru¨cksichtigen, indem 2D-Bildpositionen und Tiefenwerte fusioniert wer-
den. Wir passen ein weit verbreitetes Verfahren fu¨r visuelle Odometrie entsprechend an,
damit es als ein robustes und genaues Odometriesystem auch fu¨r RGBD-Kameras ein-
gesetzt werden kann. Basierend auf dieser Idee implementieren wir ein vollsta¨ndiges
RGBD-SLAM-System, welches auch den globalen Posengraphen in Echtzeit auf dem
Bordcomputer des MAVs optimieren kann. Wir untersuchen die Machbarkeit explizi-
ter Schleifenerkennung unter Verwendung von Tiefen- statt Intensita¨tsbildern mit einem
aktuellenhierarchischenBag-of-Words-AnsatzmitTiefenfeatures.DabeiFlu¨genimIn-
nenbereich oft eine klar erkennbare Bodenebene zu sehen ist, pra¨sentieren wir eine neu-
artigeMethode,umdieseschnellundexaktzuscha¨tzen,umdamitdenDriftinHo¨heund
Orientierung zu verringern. Zuletzt entwickeln wir schließlich ein vollsta¨ndiges SLAM-
System, das die zuvor genannten individuellen Beitra¨ge kombiniert und es dem MAV
ermo¨glicht, in unbekannten Umgebungen autonom zu fliegen und zugleich eine Karte
seinerUmgebungzuerzeugen.
vi
Acknowledgments
IthankProf. AndreasZellforsupervisingandfundingthisdissertationproject. Igreatly
appreciate the excellent working conditions and trust I enjoyed that let me relatively
freelychoosemytopicsofinterestsandpursuemyresearchthroughouttheyears.
Iamextraordinarilygratefultomycolleagueswhocreatedacordialandhelpfulwork
environment. I would like to thank especially Shaowu Yang, Konstantin Schauwecker,
DanielDube,ArturKochandLixingJiangfortheiralwaysfruitfuldiscussionsandhelp,
whichledtoseveralinterestingjointprojectsandpublications.
I thank my long-time office-roommates turned friends Artur Koch, Lixing Jiang, and
VoDucMyforallthefriendlyandentertainingcoffeebreaks.
I am deeply indebted to my wife Tinatin and my daughter Nino for their support and
understanding, especially whenever there was an important deadline approaching: You
keptmesane.
Finally, I would never have made it without the constant support and encouragement
frommyparentsEberhardandElenore. Iamheartbrokenbythefactthatneitherlivesto
seemygraduation. Ithankyoubothwithallmyheart.
vii
Acknowledgments
viii
Contents
1 Introduction 1
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Contributions&Outline . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 ExperimentalPlatform . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2 Cameras 9
2.1 CameraModels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2 DepthCameras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3 RGBDSensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3 MathematicalFoundationsofSimultaneousLocalizationandMapping 21
3.1 MaximumLikelihoodEstimation . . . . . . . . . . . . . . . . . . . . . 21
3.2 SimultaneousLocalizationandMapping . . . . . . . . . . . . . . . . . 33
4 MonocularVisualSimultaneousLocalizationandMapping 37
4.1 ProblemOverview . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.2 RelatedFields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.3 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.4 ParallelTrackingandMapping . . . . . . . . . . . . . . . . . . . . . . 39
4.5 PortingandExtendingParallelTrackingandMapping . . . . . . . . . . 47
4.6 System-InherentLimitationsofMonocularSLAM . . . . . . . . . . . 48
5 UsingDepthinVisualSimultaneousLocalizationandMapping 49
5.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
5.2 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
5.3 MainIdea . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
5.4 IntegratingDepthInformation . . . . . . . . . . . . . . . . . . . . . . 51
5.5 ParallelTrackingandMappingusingDepthMeasurements . . . . . . . 54
5.6 MeasurementUncertaintyModels . . . . . . . . . . . . . . . . . . . . 55
5.7 ExperimentsandResults . . . . . . . . . . . . . . . . . . . . . . . . . 59
5.8 RelationtoStereoVision . . . . . . . . . . . . . . . . . . . . . . . . . 62
5.9 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
6 EfficientOnboardRGBD-SLAMforAutonomousMAVs 63
6.1 RelatedWork: RGBD-SLAMforMAVs . . . . . . . . . . . . . . . . . 63
ix
Contents
6.2 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
6.3 SoftwareArchitecture . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
6.4 ExperimentsandResults . . . . . . . . . . . . . . . . . . . . . . . . . 71
6.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
7 LoopClosureDetectionUsingDepthImages 77
7.1 LocalFeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
7.2 Bagof(Visual)Words . . . . . . . . . . . . . . . . . . . . . . . . . . 80
7.3 LoopClosureDetection . . . . . . . . . . . . . . . . . . . . . . . . . . 81
7.4 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
7.5 BenchmarkDataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
7.6 ExperimentsandResults . . . . . . . . . . . . . . . . . . . . . . . . . 84
7.7 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
8 Drift-CorrectedVisualSLAM 95
8.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
8.2 GroundPlaneDetection . . . . . . . . . . . . . . . . . . . . . . . . . . 95
8.3 DriftCorrection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
8.4 ExperimentsandResults . . . . . . . . . . . . . . . . . . . . . . . . . 101
8.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
9 AfullSLAMBack-EndforParallelTrackingandMapping 103
9.1 PTAMasaVisualOdometrySLAMFront-End . . . . . . . . . . . . . 103
9.2 SLAMBack-End . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
9.3 ExperimentsandResults . . . . . . . . . . . . . . . . . . . . . . . . . 107
9.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
10 Conclusions 115
10.1 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
10.2 FutureWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
Abbreviations 117
Bibliography 119
x