Car detection in low frame-rate aerial imagery of dense urban areas

130 Pages·2014·11.12 MB·English

by  Sebastian Türmer

¨ ¨
TECHNISCHE UNIVERSITAT MUNCHEN
Institut fu¨r Photogrammetrie und Kartographie
Fachgebiet Photogrammetrie und Fernerkundung
Car detection in low frame-rate aerial imagery of
dense urban areas
Sebastian Tu¨rmer
Dissertation
2014

¨ ¨
TECHNISCHE UNIVERSITAT MUNCHEN
Institut fu¨r Photogrammetrie und Kartographie
Fachgebiet Photogrammetrie und Fernerkundung
Car detection in low frame-rate aerial imagery of
dense urban areas
Sebastian Tu¨rmer
Vollst¨andiger Abdruck der von der Ingenieurfakulta¨t Bau Geo Umwelt der Technischen
Universita¨t Mu¨nchen zur Erlangung des akademischen Grades eines
Doktor-Ingenieurs (Dr.-Ing.)
genehmigten Dissertation.
Vorsitzender: Univ.-Prof. Dr. phil. nat. Urs Hugentobler
Pru¨fer der Dissertation: 1. Univ.-Prof. Dr.-Ing. Uwe Stilla
2. Hon.-Prof. Dr.-Ing. Peter Reinartz
Universita¨t Osnabru¨ck
3. Univ.-Prof. Dr. rer. nat. Ralf Reulke
Humboldt-Universita¨t zu Berlin
Die Dissertation wurde am 01.10.2013 bei der Technischen Universita¨t Mu¨nchen einge-
reicht und durch die Ingenieurfakult¨at Bau Geo Umwelt am 11.04.2014 angenommen.

3
Abstract
Knowledge about quantity and position of moving and stationary vehicles is essential for traffic
management and planning. This information can be used, for instance, for security of mass
events or to support rescue crews in disaster situations. In order to get this information, large
areas have to be examined quickly and completely. Very suitable for this task are airborne
optical sensors. However, a reliable automatic method to locate vehicles in aerial images is
necessary.
In the present work a method for automatic extraction of vehicles in urban areas is presented.
The work mainly covers three key fields of car detection. The first is related to the extrac-
tion of ground areas. On the assumption that trafficable areas are often ground areas in
densely populated cities, disparity maps are calculated using the semi-global matching algo-
rithm (SGM). Subsequently, a threshold is automatically determined to separate ground from
non-ground regions (Minimum Error Thresholding). The second field concerns the introduc-
tion of a object-based method for extracting car candidates. In order to do this, the image is
smoothed using the mean curvature flow, and a region-growing algorithm is then applied. The
regions obtained are considered autonomous regions and are filtered multiple times with regard
to their geometric properties. The third field is the examination of the remaining candidate
regions by a classifier based on gradients (HOG features), which is trained by a machine learn-
ing algorithm (AdaBoost). However, the classifier is trained using only a few training samples.
The goal is to minimize the manual effort and to provide a high degree of generalization.
Thus, a strategy is presented which combines object-based and gradient-based techniques.
The strategy is tested with five urban images from the 3K+ camera system and the UltraCam
Eagle camera system, with 13cm and 20cm GSD, respectively. Through the use of disparity
maps, it is shown that the car detection quality in densely populated inner-city areas can be
enhanced. Objects on the top of buildings are now accurately excluded from the detection
process. Furthermore, the car detection approach presented is able to detect cars in different
datasets without adjustment of parameter settings (different sensors and different resolution).
The results of detection show that a completeness of 80% leads to a correctness of 65% to
95%.

5
Kurzfassung
Das Wissen von Anzahl und Position bewegter und stehender Fahrzeuge ist wichtig fu¨r
Verkehrsmanagement und -planung. Aufgrund dieser Information kann beispielsweise die
Sicherheit von Massenveranstaltungen erh¨oht werden oder Rettungskr¨afte ko¨nnen im Katas-
trophenfall unterstu¨tzt werden. Zur Gewinnung dieser Information sind die interessierenden
Gebiete aktuell und fl¨achig aufzunehmen. Hierfu¨r eignen sich besonders flugzeuggestu¨tzte,
optische Kamerasysteme. Allerdings ist zur automatischen Auswertung dieser Luftbilder ein
zuverl¨assiges Verfahren notwendig, um die Fahrzeuge zu detektieren.
In der vorliegenden Arbeit wird ein Verfahren zur automatischen Extraktion von Fahrzeugen
in st¨adtischem Gebiet vorgestellt. Das Verfahren kombiniert eine objektbasierte mit einer
gradientenbasierten Strategie und ist in drei Hauptbereiche unterteilt. Der erste Bereich be-
handelt die Extraktion von Bodenfl¨achen. Unter der Annahme, dass fu¨r Fahrzeuge befahrbare
Fl¨achen in dicht besiedelten St¨adten meistens Bodenfl¨achen sind, werden Ho¨henbilder mit dem
Semi-globalMatchingAlgorithmus(SGM)berechnet. DanachwirdautomatischeinGrenzwert
bestimmt, um Boden߬achen von Nicht-Boden߬achen zu trennen (Minimum Error Threshold-
ing). Im zweiten Bereich wird ein objektbasiertes Verfahren eingefu¨hrt, um Fahrzeugkandi-
daten zu bestimmen. Hier wird zun¨achst die zeitliche Ver¨anderung des Bilds aufgrund des
Kru¨mmungsflusses genutzt, um das Eingabebild zu gl¨atten. Im n¨achsten Schritt wird ein
Regionenwachstumsverfahren angewendet. Die erhaltenen Regionen werden als selbst¨andige
Objekte betrachtet und nach ihren geometrischen Eigenschaften mehrfach gefiltert. Der dritte
Bereich beschreibt die Untersuchung der verbleibenden Fahrzeugkandidaten mit einem gradi-
entenbasierten Klassifikator (HOG-Merkmale), welcher mit einem maschinellen Lernverfahren
(AdaBoost) trainiert ist. Dieser Klassifikator ist jedoch nur mit wenigen Beispielen und Itera-
tionsschritten trainiert.
Das Verfahren wird mit fu¨nf innerst¨adtischen Luftbildern des 3K+ Kamerasystems (13 cm
Bodenpixelgr¨oße) und des UltraCam Eagle Kamerasystems (20 cm Bodenpixelgro¨ße) getestet.
Aufgrund der Verwendung von Ho¨henbildern kann die Qualit¨at der Fahrzeugerkennung in dicht
besiedelten innerst¨adtischen Gebieten erho¨ht werden. Objekte auf dem Dach von Geb¨auden
werden nun vom Detektionsprozess ausgeschlossen. Weiterhin ist das Verfahren f¨ahig, ohne
die Anpassung der Parameter, Fahrzeuge in unterschiedlichem Datenmaterial (verschiedene
Sensoren mit unterschiedlicher Auflo¨sung) zu erkennen. Die Ergebnisse der Detektion zeigen,
dass bei einer Vollst¨andigkeit von 80% eine Korrektheit zwischen 65% und 95% erreicht wird.

7
Contents
List of Figures 9
List of Tables 11
List of Abbreviations 13
1 Introduction 15
1.1 Problem and motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.2 Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.3 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2 Review of Related Literature 19
2.1 Vehicle detection in optical images/videos . . . . . . . . . . . . . . . . . . 19
2.1.1 Ground-based sensors . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.2 Airborne sensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2 Airborne vehicle detection in low frame-rate optical image sequences . . . . 22
2.2.1 Single image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2.2 Multiple images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3 Lessons learned and rationalization . . . . . . . . . . . . . . . . . . . . . . 29
3 Process Strategy 33
3.1 Extraction of coarse road segments . . . . . . . . . . . . . . . . . . . . . . 33
3.2 Selection of ground regions . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.2.1 Calculation of disparity image . . . . . . . . . . . . . . . . . . . . . 36
3.2.2 Determination of ground areas from disparity image . . . . . . . . . 38
3.3 Segmentation and extraction of candidate regions . . . . . . . . . . . . . . 39
3.3.1 Smoothing and mean curvature flow . . . . . . . . . . . . . . . . . . 41
3.3.2 Region growing and selection of vehicle candidate regions . . . . . . 42
3.4 Description of vehicles by gradients . . . . . . . . . . . . . . . . . . . . . . 45
3.4.1 Calculation of gradients . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4.2 Calculation of histogram features . . . . . . . . . . . . . . . . . . . 48
3.4.3 Car model and similarity measurement . . . . . . . . . . . . . . . . 50
3.5 Vehicle gradient classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.5.1 Selection of training data . . . . . . . . . . . . . . . . . . . . . . . . 51
3.5.2 Training of the classifier . . . . . . . . . . . . . . . . . . . . . . . . 52
3.5.3 Vehicle classification . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.6 Final weighted selection of vehicles and coordinate transformation . . . . . 57
3.6.1 Final weighted selection of vehicles . . . . . . . . . . . . . . . . . . 57
3.6.2 Transformation of vehicle positions to global coordinates . . . . . . 58
8 Contents
3.7 Car candidate validation using background and color information . . . . . 59
3.7.1 Background separation and HSV color space . . . . . . . . . . . . . 59
3.7.2 CCH feature and likelihood calculation . . . . . . . . . . . . . . . . 62
3.8 Moving-object incorporation . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4 Experiments 67
4.1 Sensors and platforms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
4.1.1 3K and 3K+ camera systems . . . . . . . . . . . . . . . . . . . . . 67
4.1.2 UltraCam Eagle camera system . . . . . . . . . . . . . . . . . . . . 72
4.2 Data and scenes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.2.1 Dataset 1 - 3K+, small road, city center, Munich . . . . . . . . . . 73
4.2.2 Dataset 2 - 3K+, small road, city center, Munich . . . . . . . . . . 74
4.2.3 Dataset 3 - 3K+, big road, inner-ring road, Munich . . . . . . . . . 74
4.2.4 Dataset 4 - 3K+, TUM, Arcisstrasse, Munich . . . . . . . . . . . . 74
4.2.5 Dataset 5 - UltraCam, TUM, Arcisstrasse, Munich . . . . . . . . . 75
4.3 Conducting the experiments . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.3.1 Testing of each step considered independently . . . . . . . . . . . . 76
4.3.2 Testing of complete car-detection strategy . . . . . . . . . . . . . . 79
5 Results 81
5.1 Results of each step considered independently . . . . . . . . . . . . . . . . 81
5.1.1 Accuracy of extracted coarse road segments . . . . . . . . . . . . . 81
5.1.2 Selection of ground regions . . . . . . . . . . . . . . . . . . . . . . . 83
5.1.3 Segmentation and extraction of candidate regions . . . . . . . . . . 87
5.1.4 Vehicle classification using gradients . . . . . . . . . . . . . . . . . 87
5.2 Results of complete car-detection strategy . . . . . . . . . . . . . . . . . . 91
6 Discussion 101
6.1 Discussion of each step considered independently . . . . . . . . . . . . . . 101
6.1.1 Accuracy of extracted road segments . . . . . . . . . . . . . . . . . 101
6.1.2 Selection of ground regions . . . . . . . . . . . . . . . . . . . . . . . 101
6.1.3 Segmentation and extraction of candidate regions . . . . . . . . . . 103
6.1.4 Vehicle classification using gradients . . . . . . . . . . . . . . . . . 104
6.1.5 Discussion of optional sections . . . . . . . . . . . . . . . . . . . . . 105
6.2 Discussion of the complete car detection strategy . . . . . . . . . . . . . . 107
7 Conclusion and Outlook 109
7.1 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
7.2 Outlook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
Bibliography 113