Live 3D Reconstruction on Mobile Phones

142 Pages·2016·33.75 MB·English

Research Collection
Doctoral Thesis
Live 3D Reconstruction on Mobile Phones
Author(s):
Tanskanen, Petri
Publication Date:
2016
Permanent Link:
https://doi.org/10.3929/ethz-a-010636796
Rights / License:
In Copyright - Non-Commercial Use Permitted
This page was generated automatically upon download from the ETH Zurich Research Collection. For more
information please consult the Terms of use.
ETH Library
DISS. ETH NO. 23309
Live 3D Reconstruction on Mobile Phones
A thesis submitted to attain the degree of
DOCTOR OF SCIENCES of ETH Z(cid:252)rich
(Dr. sc. ETH Z(cid:252)rich)
presented by
Petri Tanskanen
MSc ETH in Computer Science
ETH Z(cid:252)rich
born 03.04.1984
citizen of Berikon AG and Finland
accepted on the recommendation of
Prof. Marc Pollefeys
Prof. Otmar Hilliges
Prof. Margarita Chli
2016

Abstract
This thesis presents a system for mobile devices with a single cam-
era and an inertial measurement unit that allows to create dense 3D
models. The whole process is interactive, the reconstruction is in-
crementally computed during the scanning process and the user gets
direct feedback of the progress. The system (cid:28)lls the gap in currently
existingcloud-basedmobilereconstructionservicesbygivingtheuser
a preview directly on the phone without having to upload the images
to a server. The on-device reconstruction enables new applications
where it is not desirable to send the raw images to a remote server
due to security or privacy reasons. In addition, since the system is
actively analyzing the scanning process, it can use the inertial sensor
data to estimate the objects real-world absolute scale. This is not
possible by only processing the images on a server.
A novel visual inertial odometry algorithm that uses the Extended
Kalman Filter framework to directly fuse image intensity values with
theinertialmeasurementstoestimatethecameramotionisproposed.
Thefusionatthislowlevelcombinestheadvantagesofthehighaccu-
racy from direct photometric error minimization with the robustness
tofastmotionswhenusinginertialsensors. Thankstotheconstrained
modelofthe(cid:28)lter,itispossibletotracksceneswhereotherapproaches
usingexternalcorrespondencealgorithmswillfail. Themethodworks
on a sparse set of image areas and can be e(cid:30)ciently implemented on
mobile devices.
iii
An e(cid:30)cient point cloud fusion algorithm is proposed that is based
on a con(cid:28)dence weight computed from photometric and geometric
properties to accurately combine depth measurements from di(cid:27)erent
viewpoints into a consistent point cloud model. Thereby, visibility
con(cid:29)icts are detected and corrected and the measurements are then
averaged by using their their con(cid:28)dence scores as weight. The com-
plete system is demonstrated to be working on various objects and in
di(cid:27)erent environments and future applications are proposed.
iv
Zusammenfassung
IndieserArbeitwirdeinSystemf(cid:252)rdieErstellungdichter3D-Modelle
aufeinemMobilger(cid:228)tmiteinereinzelnenKameraundInertial-Sensoren
beschrieben. Der gesamte Prozess ist interaktiv, die 3D Rekonstruk-
tion wird inkrementell w(cid:228)hrend dem Scannen berechnet und dem Be-
nutzer direkt als Feedback dargestellt. Das System f(cid:252)llt die L(cid:252)cke
beibereitsexistierendenCloud-basiertenRekonstruktionsdienstenf(cid:252)r
Smartphones, indem es dem Benutzer sofort eine Vorschau auf dem
Ger(cid:228)t anzeigt, ohne die Bilder vorher auf einen Server hochladen zu
m(cid:252)ssen. Die Rekonstruktion auf dem Ger(cid:228)t erm(cid:246)glicht neue Anwen-
dungen, bei denen es aus Sicherheitsgr(cid:252)nden oder wegen dem Schutz
derPrivatssph(cid:228)renichterw(cid:252)nschtist,dieRohbilderaneinenfremden
Computerzusenden. DankdemdirektenVerarbeitenallerDatenauf
dem Ger(cid:228)t w(cid:228)hrend dem Scannen, kann das System die Inertialsen-
sordaten benutzen um die absolute Gr(cid:246)sse des eingescanntes Objekts
zu berechnen. Dies ist nur durch die alleinige Analyse der Bilder auf
einem Server gar nicht m(cid:246)glich.
EinneuerAlgorithmusf(cid:252)rVisualInertialOdometrywirdvorgeschla-
gen,welchesdasExtendedKalmanFilterFrameworkbenutzt,umdie
Intensit(cid:228)tswerte eines Bildes mit den Inertialsensormessungen zu fu-
sionieren. Das Verkn(cid:252)pfen der Daten auf diesem Level erm(cid:246)glicht es,
die Vorteile der Genauigkeit der photometrischen Optimierung und
der Robustheit gegen(cid:252)ber schnellen Bewegungen durch die Verwen-
dung der Inertialdaten zu kombinieren. Durch die inherenten math-
v
ematischen Bedingungen im Modell des Filters funktioniert der Al-
gorithmus in Umgebungen, in denen andere Systeme, die externe
Correspondence-Algorithmenbenutzen,versagen. DievorgestelleMeth-
odebenutztnurkleineTeiledesBildesf(cid:252)rdieBerechnungenundkann
deswegen e(cid:30)zient auf einem mobilen Ger(cid:228)t implementiert werden.
Ein e(cid:30)zienter Algorithmus f(cid:252)r die Fusion von Punktwolken wird
be- schrieben. Die Methode benutzt Kon(cid:28)denzwerte basierend auf
photometrischen und geometrischen Eigenschaften, um die berech-
neten Tiefenwerte aus mehreren Blickwinkeln zu einem konsistenten
Modell zu fusionieren. Dabei werden Sichtbarkeitskon(cid:29)ikte erkannt
und aufgel(cid:246)st und die Messungen anschliessend, mit der Kon(cid:28)denz
gewichtet, gemittelt. Die Funktionsf(cid:228)higkeit des kompletten Systems
wird durch erfolgreiche 3D Scans von unterschiedlichen Objekten in
verschiedenen Umgebungen demonstriert und zuk(cid:252)nftige Anwendun-
gen vorgeschlagen.
vi
Acknowledgement
Thisthesiswouldnothavebeenpossiblewithoutthesupportandcon-
tributions of many persons. Therefore, I want to express my sincere
gratitude to the following persons:
First I would like to thank my advisor Prof. Marc Pollefeys, whose
lecture about 3D photography I attended one year after he joined
ETH and he got me so fascinated about the topic that I ended up
doing my PhD study in his group. During all that time he was of
greathelpandcontributedmanyinspringideasthat(cid:28)nallyledtothis
thesis.
My appreciation goes to Lorenz Meier for pushing the Pixhawk
project that allowed me to get in touch with the research group
and pursuing many long technical discussions with me. And to Dr.
Friedrich Fraundorfer, Dr. Gim Hee Lee and Dr. Lionel Heng for
the great (cid:28)rst two years in which we worked on micro aerial vehicles.
Special thanks to Dr. Kalin Kolev, who enabled the Mobile Scanner
project with his contributions and to all other collaborators on the
project, Dr. Amaºl Delaunoy, Federico Camposeco, Olivier Saurer
andPabloSpeciale. IwanttothankDr. TorstenSattlerandallpeers
of the CVG for taking time for inspiring discussions and supporting
each other.
I want to especially thank my colleagues in the dark basement lab,
DominikHonegger,NicoRanieriandallothersforourgreattimewith
Fondue and fruitful discussions. And to Tobias N(cid:228)geli for the many
vii
upsanddownswithourjoinedprojectonvisualodometry,andtomy
co-advisor Otmar Hilliges who spent long nights in helping us getting
our work done.
Thanks to the administration, Susanne Keller, who took care of so
many problems on so many di(cid:27)erent levels, and Thorsten Steenbock
for the numerous helpful discussions and his trust in me.
Lastly,Iwanttothankmyparentsandmytwinsisterforsupporting
me in many ways and making this thesis possible.
viii
Contents
1 Introduction 1
2 Foundations 7
2.1 Camera Models . . . . . . . . . . . . . . . . . . . . . . 7
2.1.1 Pinhole Camera . . . . . . . . . . . . . . . . . 8
2.1.2 Fish Eye Camera . . . . . . . . . . . . . . . . . 10
2.2 Optimization . . . . . . . . . . . . . . . . . . . . . . . 12
2.2.1 Non-linear Least Squares . . . . . . . . . . . . 12
2.2.2 Optimization on Manifolds . . . . . . . . . . . 15
2.2.3 Examples . . . . . . . . . . . . . . . . . . . . . 17
2.2.4 Filtering . . . . . . . . . . . . . . . . . . . . . . 20
2.3 Stereo Depth Estimation . . . . . . . . . . . . . . . . . 22
2.3.1 Stereo . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.2 Depth Map Fusion . . . . . . . . . . . . . . . . 28
3 3D Reconstruction on Mobile Phones 31
3.1 Related Work . . . . . . . . . . . . . . . . . . . . . . . 33
3.2 System Overview . . . . . . . . . . . . . . . . . . . . . 35
3.3 Visual Inertial Scale Estimation . . . . . . . . . . . . . 36
3.4 Visual Tracking and Mapping . . . . . . . . . . . . . . 43
3.4.1 Two View Initialization . . . . . . . . . . . . . 43
3.4.2 Patch Tracking and Pose Re(cid:28)nement . . . . . . 44
3.4.3 Sparse Mapping . . . . . . . . . . . . . . . . . 44
ix