Reconstruction et alignement en vision 3D

280 Pages·2017·4.68 MB·French

by  Adrien Bartoli

Reconstruction et alignement en vision 3D: points,
droites, plans et caméras
Adrien Bartoli
To cite this version:
AdrienBartoli. Reconstructionetalignementenvision3D:points,droites,plansetcaméras. Interface
homme-machine[cs.HC].InstitutNationalPolytechniquedeGrenoble-INPG,2003. Français. ￿NNT:
￿. ￿tel-00004360￿
HAL Id: tel-00004360
https://theses.hal.science/tel-00004360
Submitted on 29 Jan 2004
HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est
archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents
entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non,
lished or not. The documents may come from émanant des établissements d’enseignement et de
teaching and research institutions in France or recherche français ou étrangers, des laboratoires
abroad, or from public or private research centers. publics ou privés.
INSTITUT NATIONAL POLYTECHNIQUE DE GRENOBLE
No attribuéparlabibliothèque
|__|__|__|__|__|__|__|__|__|__|
T H È S E
pourobtenir legradede
DOCTEUR DE L’INPG
Spécialité : IMAGERIE, VISION ET ROBOTIQUE
préparée aulaboratoire GRAVIR
EcoleDoctorale MATHÉMATIQUES, INFORMATIQUE, SCIENCES ET TECHNOLOGIES DE L’INFORMATION
présentéeetsoutenuepubliquementpar:
Adrien Bartoli
le10septembre2003
Titre:
Reconstruction et alignement en vision 3D :
points, droites, plans et caméras
Directeursdethèse:
Peter Sturm et Radu Horaud
Jury:
JamesCrowley Président
MichelDhome Rapporteur
NassirNavab Rapporteur
RaduHoraud Directeurdethèse
Peter Sturm Co-encadrant
IanReid Examinateur
Résumé
Cette thèse concerne la reconstruction de modèles 3D de scènes à partir d’images prises par des caméras.
Il est courant de reconstruire à partir de sous-ensembles d’images puis de fusionner les modèles partiels ainsi
obtenus par une phase d’alignement 3D. Les algorithmes de reconstruction et d’alignement s’appuient sur des
correspondances de points ou de droites entre les images. La localisation de ces points ou droites dans les
images est affectée par un bruit de mesure, influençant la qualité des modèles 3D reconstruits. Cette thèse est
centrée surl’obtention derésultats optimaux etsurlesproblèmes dereprésentation quiendécoulent.
Lapremièrepartiedecettethèseabordeleproblèmedelareconstruction demodèles3D.Lescasdescamé-
rascalibréesetnoncalibréessonttraités.Nousdévelopponsdesméthodesdereconstructiondepoints,dedroites
et de caméras. L’incorporation de contraintes géométriques de coplanarité permet la reconstruction conjointe
de plans. Nos contributions principales sont le développement et la comparaison de méthodes permettant la
reconstruction 3Doptimale depoints, droites, plans etcaméras.
Ladeuxièmepartiedecettethèseabordeleproblèmedel’alignementdemodèles3D,quiconsisteàestimer
la transformation géométrique liant deux modèles 3D. Les méthodes existantes sont basées sur des correspon-
dances de points. Nous étudions le cas des correspondances de droites. Les cas des caméras calibrées et non
calibrées sonttraités.Noscontributions majeuresdanscedomainesont,d’unpointdevuethéorique, uneétude
des transformations géométriques de droites 3D.Plusprécisément, nous étendons lareprésentation matricielle
standard,adaptéeauxpoints,enunereprésentation adaptéeauxdroites.D’unpointdevuepratique,nousdéve-
loppons etcomparons plusieurs méthodes d’alignement linéaires etnon-linéaires.
Nousproposons finalementdes méthodes dereconstruction demodèles 3Dlorsque lascène observée n’est
pas rigide. Par ailleurs, nous développons un méthode de détection automatique de surfaces planes dans une
modèle 3D.
Mots clés : vision par ordinateur, reconstruction tridimensionnelle, reconstruction projective, ajustement de
faisceaux.
Abstract
This thesis deals with the reconstruction of 3D models of scenes from images taken by cameras. It is
common to reconstruct from subsets of images and to merge the partial 3D models, based on a 3D alignment
step. Reconstruction and alignment algorithms rely on point or line correspondences between the images. The
position of these features in the images is affected by noise, which influences the quality of the reconstructed
3D models. This thesis focuses on obtaining optimal results and on the problems of representation which are
induced.
The first part of this thesis tackles the problem of reconstructing 3D models. Calibrated and uncalibrated
camerasaredealtwith.Wedevelopmethodsforthereconstruction ofpoints,linesandcameras.Theincorpora-
tionofgeometric coplanarity constraints allowssimultaneous reconstruction ofplanes.Ourmaincontributions
are the development and the comparison of methods for the optimal 3D reconstruction of points, lines, planes
andcameras.
The second part of this thesis is concerned with the problem of aligning 3D models, or equivalently, esti-
mating the geometric transformation relating two 3D models. Existing methods are based on point correspon-
dences. We study the case of line correspondences. Calibrated and uncalibrated cameras are dealt with. Our
majorcontributions inthisdomainare,fromatheoretical pointofview,thestudyofgeometric transformations
of 3D lines. More precisely, we extend the standard matrix representation, suitable for points, to a representa-
tion suitable forlines.Fromapractical point ofview,wedevelop andcompare numerous linear andnon-linear
alignment methods.
Finally,wepropose methodsforthereconstruction of3Dmodelsfornon-rigid scenesandamethodforthe
automatic detection ofplanar surfaces withina3Dmodel.
Keywords: computer vision,threedimensional reconstruction, projective reconstruction, bundle adjustment.
Table des matières
1 Introduction 1
1.1 Modélisation etdonnées d’entrée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Stratégies ettâches dereconstruction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Reconstruction optimale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3.1 Initialisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3.2 Paramétrisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4.1 Lignesdirectrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4.2 Paramétrisations etalgorithmes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2 Elémentsdebase 7
2.1 Conventions etnotations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2 Espaces Euclidien,métrique, affineetprojectif . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.3 Lamatricedescofacteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.4 Quelques décompositions dematrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.4.1 Décomposition envaleurs singulières . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.4.2 Décomposition QR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.5 Mesures dedistance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.5.1 Distances Euclidiennes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.5.2 Distances algébriques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.5.3 Relierlesdistances Euclidiennes etalgébriques . . . . . . . . . . . . . . . . . . . . . 14
2.6 Estimation d’entités géométriques, optimisation linéaire etquasi-linéaire . . . . . . . . . . . . 15
2.6.1 Optimisation linéaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.6.2 Optimisation quasi-linéaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.6.3 Systèmesnonhomogènes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.6.4 Optimisation sous contraintes linéaires . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.7 Matrices orthonormales etderotation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.7.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.7.2 Décomposition parangles élémentaires desmatrices derotation . . . . . . . . . . . . 21
2.7.3 Estimation desmatricesderotation parmiseàjourlocale minimale . . . . . . . . . . 21
2.8 Lemodèledecaméraperspectif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.9 Stratification delareconstruction etducalibrage, reconstructabilité . . . . . . . . . . . . . . . 25
2.10 Géométried’un systèmedecaméras noncalibrées . . . . . . . . . . . . . . . . . . . . . . . . 26
2.10.1 Lecasdedeuxvues :lagéométrie épipolaire . . . . . . . . . . . . . . . . . . . . . . 26
2.10.2 Lecasmulti-vues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.11 Observation d’unplan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.12 Lescoordonnées dePlücker . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
I
3 Cadregénéral delareconstruction parajustementdefaisceaux 35
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.2 Initialisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2.1 Méthodes directes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2.2 Méthodes séquentielles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.3 L’erreurdereprojection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.3.1 Lecasdespoints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.3.2 Lecasdesdroites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.3.3 L’erreurdereprojection etl’erreur d’estimation . . . . . . . . . . . . . . . . . . . . . 42
3.4 Libertésdejauge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.5 Paramétrisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.5.1 Motivations etfonction deparamétrisation . . . . . . . . . . . . . . . . . . . . . . . 44
3.5.2 Miseàjour . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.5.3 Influence deslibertés dejauge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.5.4 Evaluerlaqualité d’une paramétrisation . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.5.5 Exempledeparamétrisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.6 Optimisation non-linéaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.6.1 L’algorithme deGauss-Newton . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.6.2 L’algorithme deLevenberg-Marquardt . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.6.3 Structure etschémaderésolution éparse deséquations normales . . . . . . . . . . . . 48
3.6.4 Reconstruction aveccontraintes géométriques . . . . . . . . . . . . . . . . . . . . . . 49
3.7 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4 Géométriededeuxcamérasnoncalibrées etestimation non-linéaire delamatricefondamentale 51
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.2 Factorisation delamatricefondamentale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.2.1 Factorisation partielle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.2.2 Factorisation totale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.2.3 Résumé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.3 Paramétrisation delamatricefondamentale . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.3.1 Laparamétrisation deLuongetFaugeras . . . . . . . . . . . . . . . . . . . . . . . . 59
4.3.2 Lesparamétrisations deZhangetdeCsurkaetal. . . . . . . . . . . . . . . . . . . . . 61
4.3.3 Lasolution deZhangetLooppartransformation projective desimages . . . . . . . . 63
4.3.4 Lasolution deTorretZissermanparcorrespondances depoints . . . . . . . . . . . . 63
4.3.5 Laparamétrisation “épipôle +homographie” . . . . . . . . . . . . . . . . . . . . . . 63
4.4 Lareprésentation orthonormale delamatricefondamentale . . . . . . . . . . . . . . . . . . . 63
4.4.1 Décomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.4.2 Recomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.4.3 Consistance etcomplétude . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.4.4 Réalisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.4.5 Optimisation minimale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.4.6 L’approche réduite :minimisation desdistances point-droite épipolaire . . . . . . . . 70
4.4.7 L’approche directe :minimisation del’erreur dereprojection . . . . . . . . . . . . . . 71
4.4.8 Matrices essentielles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.5 Résultats expérimentaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.5.1 Données simulées. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.5.2 Données réelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.6 Conclusions etperspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
II
5 Reconstructiondeplans,depointsetdecaméras 79
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
5.2 Modélisation duproblème . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
5.2.1 Gestiondescontraintes demulti-coplanarité . . . . . . . . . . . . . . . . . . . . . . . 82
5.2.2 Etudedunombre dedegrés deliberté . . . . . . . . . . . . . . . . . . . . . . . . . . 83
5.2.3 Reconstructabilité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5.3 Etatdel’artetapproche proposée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5.3.1 Initialisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5.3.2 Ajustement defaisceaux plan parmorceaux . . . . . . . . . . . . . . . . . . . . . . . 87
5.4 Lecasdedeuxvues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5.4.1 Initialisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5.4.2 Ajustement defaisceaux plan parmorceaux . . . . . . . . . . . . . . . . . . . . . . . 95
5.5 Lecasmulti-vues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.5.1 Initialisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
5.5.2 Ajustement defaisceaux plan parmorceaux . . . . . . . . . . . . . . . . . . . . . . . 102
5.6 Autrestypes decontraintes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
5.7 Résultats expérimentaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.7.1 Données simulées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.7.2 Données réelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5.8 Conclusions etperspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
6 Reconstructiondedroites etdecaméras 121
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
6.2 Représentation desdroites 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
6.2.1 Représentations complètes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
6.2.2 Représentations partielles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
6.2.3 Résumé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
6.3 Triangulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
6.3.1 Travauxprécédents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
6.3.2 Choixdelareprésentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
6.3.3 Projection d’une droite encoordonnées dePlücker . . . . . . . . . . . . . . . . . . . 128
6.3.4 Algorithme linéaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
6.3.5 Correction dePlücker . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
6.3.6 Algorithme quasi-linéaire 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
6.3.7 Algorithme quasi-linéaire 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
6.3.8 Algorithme non-linéaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6.4 Ajustement defaisceaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
6.4.1 Etatdel’art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
6.4.2 Lareprésentation orthonormale desdroites 3D . . . . . . . . . . . . . . . . . . . . . 133
6.5 Résultats expérimentaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
6.5.1 Données simulées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
6.5.2 Données réelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
6.6 Conclusions etperspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
7 Lesmatrices demouvementpourdroites 3D 155
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
7.2 Lesmatrices demouvement pourdroites 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
7.2.1 Casgénérique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
7.2.2 Casprojectif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
7.2.3 Casaffine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
7.2.4 Casmétrique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
7.2.5 CasEuclidien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
III
7.3 Uneinterprétation géométrique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
7.3.1 Casprojectif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
7.3.2 Casaffine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
7.3.3 Casmétrique etEuclidien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
7.4 Extraction dumouvement àpartird’une matricedemouvementpour droites 3D . . . . . . . . 171
7.4.1 Casprojectif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
7.4.2 Casaffine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
7.4.3 Casmétrique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
7.4.4 CasEuclidien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
7.5 Lamatrice depassage projectif-métrique pourdroites 3D . . . . . . . . . . . . . . . . . . . . 174
7.6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
8 Alignementdereconstructions dedroites 177
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
8.2 Casminimaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
8.3 Notations, scénario etdésignation desméthodes proposées . . . . . . . . . . . . . . . . . . . 180
8.3.1 Notations etscénario . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
8.3.2 Désignation etrésumédesméthodes proposées . . . . . . . . . . . . . . . . . . . . . 180
8.4 Maximumdevraisemblance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
8.4.1 Formulation algébrique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
8.4.2 Optimisation non-linéaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
8.5 Méthodes linéaires etquasi-linéaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
8.5.1 Casprojectif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
8.5.2 Casaffine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
8.5.3 Casmétrique etEuclidien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
8.6 Méthodes non-linéaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
8.7 Résultats expérimentaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
8.7.1 Données simulées. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
8.7.2 Données réelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
8.8 Conclusions etperspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
9 Conclusions,perspectives etproblèmesouverts 213
9.1 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
9.2 Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
9.3 Problèmesouverts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
A Détectiondeplans 217
A.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
A.2 Etatdel’art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
A.3 Segmentation enplans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
A.3.1 Description duprocessus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
A.3.2 Segmentation paréchantillonage aléatoire . . . . . . . . . . . . . . . . . . . . . . . . 220
A.4 Résultats expérimentaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
A.4.1 Données simulées. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
A.4.2 Données réelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
A.5 Conclusions etperspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
B Géométrieetreconstruction dynamiques–Mouvementslinéaires, coplanaires etconvergents 235
B.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
B.2 Lagéométrie dynamique etsonestimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
B.2.1 Lecasdedeuxvues :letenseur-C7 . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
B.2.2 Lecasmulti-vues :letenseur-C5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
IV
B.3 Estimation consistante desgéométries dynamiques etstatiques . . . . . . . . . . . . . . . . . 242
B.3.1 Lecasdedeuxvues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
B.3.2 Lecasmulti-vues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
B.4 Résultats expérimentaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
B.5 Conclusions etperspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
C Correction dePlücker 249
C.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
C.2 Formulation duproblème . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
C.3 Résolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
D Autrestravaux 253
Bibliographie 255
V
Table des figures
2.1 Lemodèle decaméra perspectif. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2 Lagéométrie épipolaire. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.3 Interprétation géométrique descoordonnées dePlücker. . . . . . . . . . . . . . . . . . . . . . 33
3.1 Reconstruction d’unpoint parintersection derayons deprojection. . . . . . . . . . . . . . . . 36
3.2 Reconstruction depointparajustement defaisceaux. . . . . . . . . . . . . . . . . . . . . . . 40
3.3 Reconstruction dedroiteparajustement defaisceaux. . . . . . . . . . . . . . . . . . . . . . . 41
3.4 Rôledelafonction deparamétrisation dansl’optimisation non-linéaire. . . . . . . . . . . . . 45
3.5 StructuredesmatricesJacobienneetHessienne(approximationdeGauss-Newton)lorsdel’ajus-
tementdefaisceaux. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.1 Rôledeshomographies deplandanslafactorisation partielle delamatrice fondamentale. . . . 54
4.2 Rôle des transformations épipolaires étendues dans la factorisation totale de la matrice fonda-
mentale. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.3 Représentation orthonormale delamatrice fondamentale etoptimisation non-linéaire. . . . . . 64
4.4 Erreurdereprojection ettempsdecalcul pourdifférentes distances scène àcaméras. . . . . . 74
4.5 Erreurdereprojection ettempsdecalcul pourdifférentes distances focales descaméras. . . . 74
4.6 Erreurdereprojection ettempsdecalcul pourdifférents niveaux debruit image. . . . . . . . . 75
4.7 Erreurdereprojection ettempsdecalcul pourdifférents nombres depoints. . . . . . . . . . . 76
4.8 Imagesutilisées pourcomparer différentes méthodes d’estimation delamatricefondamentale. 77
5.1 Séquence “gamesystem I”. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
5.2 Modélisation plane parmorceaux delascène“gamesystemI”. . . . . . . . . . . . . . . . . . 83
5.3 Lesdifférentes étapes del’initialisation d’une structure planeparmorceaux. . . . . . . . . . . 86
5.4 Paramétrisation minimaled’unpoint surunplan danslecasdedeuxvues. . . . . . . . . . . . 92
5.5 Paramétrisation minimaled’unpoint surdeuxplans danslecasdedeuxvues. . . . . . . . . . 93
5.6 Illustration dufaitqu’un point surtrois plansestengénéral déterminé demanièreunique. . . . 95
5.7 StructuredesmatricesJacobienneetHessienne(approximationdeGauss-Newton)lorsdel’ajus-
tementdefaisceaux standard noncontraint. . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.8 StructuredesmatricesJacobienneetHessienne(approximationdeGauss-Newton)lorsdel’ajus-
tementdefaisceaux planparmorceaux. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.9 Structure des matrices Hessiennes (approximation de Gauss-Newton) lors de l’ajustement de
faisceaux standard noncontraint etplanparmorceaux. . . . . . . . . . . . . . . . . . . . . . 98
5.10 Erreurbaséeimageminimisée parlaméthode linéaire dereconstruction multi-vues deplans. . 99
5.11 Erreur3Dpourdifférents niveaux debruit imageetécartements entrelescaméras. . . . . . . 107
5.12 Erreur3Dpourdifférents nombres depoints etnombres devues. . . . . . . . . . . . . . . . . 108
5.13 Erreur3Dpourdifférentes distances scène àcamérasettauxdeperturbation delaplanarité. . . 108
5.14 Erreur3Dsurlaposition descaméras pourdifférents niveaux debruit imageetnombres devues.110
5.15 Systèmeglobal dereconstruction d’une scèneplane parmorceaux. . . . . . . . . . . . . . . . 111
5.16 Séquence delamaison. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.17 Vuesdumodèle 3Dmétrique pour laséquence delamaison. . . . . . . . . . . . . . . . . . . 113
5.18 Reprojection dumodèle3Dmétrique surlesimages originales delamaison. . . . . . . . . . . 114
VI
5.19 Vuesdumodèle 3Dmétriquetexturé pour laséquence delamaison. . . . . . . . . . . . . . . 114
5.20 Vuesdumodèle 3Dprojectif texturé pourlaséquence “gamesystem I”. . . . . . . . . . . . . 115
5.21 Vuesdumodèle 3Dmétriquetexturé pour laséquence “gamesystem I”. . . . . . . . . . . . . 116
5.22 Mesures dequalité métriques surlemodèle3Dpourlaséquence “gamesystem I”. . . . . . . 117
5.23 Séquence descubes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.24 Pointsimageetplans modélisés pour laséquence descubes. . . . . . . . . . . . . . . . . . . 117
5.25 Vuesdumodèle 3Dprojectif texturé pourlaséquence descubes. . . . . . . . . . . . . . . . . 118
5.26 Vuesdumodèle 3Dmétriquetexturé pour laséquence descubes. . . . . . . . . . . . . . . . . 119
5.27 Mesures dequalité métriques surlemodèle3Dpourlaséquence descubes. . . . . . . . . . . 120
6.1 Représentation orthonormale desdroites 3Detoptimisation non-linéaire. . . . . . . . . . . . 134
6.2 Interprétation géométrique delareprésentation orthonormale. . . . . . . . . . . . . . . . . . . 139
6.3 Interprétation géométrique desparamètres demiseàjourdelareprésentation orthonormale. . 140
6.4 Erreurdereprojection pour différents niveaux debruit imageetnombres dedroites. . . . . . . 142
6.5 Erreurdereprojection pour différents nombresd’images etdistances scènes àcaméras. . . . . 143
6.6 Séquence deslivresI. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
6.7 Vuesdumodèle 3Dmétriquepour laséquence deslivresI. . . . . . . . . . . . . . . . . . . . 145
6.8 Reprojection desdroites dans lesimagesdelaséquence deslivresI. . . . . . . . . . . . . . . 146
6.9 Séquence deslivresII. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
6.10 Vuesdumodèle 3Dmétriquepour laséquence deslivresII. . . . . . . . . . . . . . . . . . . . 148
6.11 Séquence desboîtes I. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
6.12 Vuesdumodèle 3Dmétriquepour laséquence desboîtes I. . . . . . . . . . . . . . . . . . . . 152
6.13 Séquence desboîtes II. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
6.14 Vuesdumodèle 3Dmétriquepour laséquence desboîtes II. . . . . . . . . . . . . . . . . . . 154
7.1 Scénario pourl’interprétation géométrique desmatrices demouvementpour droites 3D. . . . 167
7.2 Scénario pourl’interprétation géométrique delamatrice d’homographie pourdroites 3D. . . . 168
8.1 Scénario considéré pourl’alignement dereconstructions dedroites. . . . . . . . . . . . . . . . 181
8.2 Principedelaformulation decontraintes 3Dlinéaires surlescoefficientsdelamatricedemou-
vementusuelle àpartir decorrespondances dedroites. . . . . . . . . . . . . . . . . . . . . . . 185
8.3 Principedelaformulationdecontraintesbaséesimagelinéairessurlescoefficientsdelamatrice
demouvementusuelle àpartirdecorrespondances dedroites. . . . . . . . . . . . . . . . . . . 187
8.4 Principedelaformulation decontraintes 3Dlinéaires surlescoefficientsdelamatricedemou-
vementpourdroites 3Dàpartir decorrespondances dedroites. . . . . . . . . . . . . . . . . . 189
8.5 Principedelaformulationdecontraintesbaséesimagelinéairessurlescoefficientsdelamatrice
demouvementpour droites 3Dàpartirdecorrespondances dedroites. . . . . . . . . . . . . . 191
8.6 Erreurdereprojection pour différents niveaux debruit image. . . . . . . . . . . . . . . . . . . 201
8.7 Erreurdereprojection pour différents nombresdedroites. . . . . . . . . . . . . . . . . . . . . 202
8.8 Séquence deslivresI:uneimageetunevuedumodèle 3Dmétrique. . . . . . . . . . . . . . . 204
8.9 Séquence deslivresII:uneimageetunevuedumodèle3Dmétrique. . . . . . . . . . . . . . 204
8.10 Alignement desséquences deslivres IetdeslivresII–1. . . . . . . . . . . . . . . . . . . . . 205
8.11 Alignement desséquences deslivres IetdeslivresII–2. . . . . . . . . . . . . . . . . . . . . 205
8.12 Séquence desboîtes I:uneimageetunevuedumodèle3Dmétrique. . . . . . . . . . . . . . 206
8.13 Séquence desboîtes II:uneimageetunevuedumodèle3Dmétrique. . . . . . . . . . . . . . 206
8.14 Alignement desséquences desboîtes Ietdesboîtes II. . . . . . . . . . . . . . . . . . . . . . 207
8.15 Séquence delapièce debateau. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
8.16 Reprojection après transfert surlesimagesoriginales delapiècedebateau. . . . . . . . . . . 209
8.17 Vuesdumodèle 3Dmétriquepour laséquence delapièce debateau. . . . . . . . . . . . . . . 210
A.1 Exempledescèneplaneparmorceaux,laséquence“gamesystemII”:uneimageetunevuedu
modèle3Dmétrique. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
VII