Andreas Starzacher Entwicklung eines Vision-basierten Adaptive

111 Pages·2007·0.8 MB·German

Andreas Starzacher
Entwicklung eines Vision-basierten
Adaptive-Cruise-Control Prototypen
MASTERARBEIT
zur Erlangung des akademischen Grades
Diplom-Ingenieur
Studium Informatik
Alpen-Adria-Universit¨at Klagenfurt
Fakult¨at fu¨r Technische Wissenschaften
Begutachter: Prof. Dr.-Ing. Kyandoghere Kyamakya
Institut: Intelligente Systemtechnologien
April/2007
Ehrenw¨ortliche Erkl¨arung:
Ich erkl¨are ehrenw¨ortlich, dass ich die vorliegende wissenschaftliche Arbeit
selbstst¨andigangefertigtunddiemitihrunmittelbarverbundenenT¨atigkeiten
selbst erbracht habe. Ich erkl¨are weiters, dass ich keine anderen als die an-
gegebenen Hilfsmittel benutzt habe. Alle aus gedruckten, ungedruckten oder
dem Internet im Wortlaut oder im wesentlichen Inhalt u¨bernommenen For-
mulierungen und Konzepte sind gem¨aß den Regeln fu¨r wissenschaftliche Ar-
beiten zitiert und durch Fußnoten bzw. durch andere genaue Quellenangaben
gekennzeichnet.
Die w¨ahrend des Arbeitsvorganges gew¨ahrte Unterstu¨tzung einschließlich si-
gnifikanter Betreuungshinweise ist vollst¨andig angegeben.
Die wissenschaftliche Arbeit ist noch keiner anderen Pru¨fungsbeh¨orde vor-
gelegt worden. Diese Arbeit wurde in gedruckter und elektronischer Form
abgegeben. Ich best¨atige, dass der Inhalt der digitalen Version vollst¨andig
mit dem der gedruckten Version u¨bereinstimmt.
Ich bin mir bewusst, dass eine falsche Erkl¨arung rechtliche Folgen haben
wird.
(Unterschrift) (Ort und Datum)
Danksagung:
An dieser Stelle bedanke ich mich recht herzlich an alle, die auf die eine oder
andere Weise zum Erfolg dieser Arbeit beigetragen haben.
Einen besonderen Dank gilt meinem Betreuer Bernhard Lamprecht, der mir
mit Rat und Tat bei der Erstellung der Masterarbeit beigestanden ist.
Meinen Eltern und meinem Großvater, die mir es u¨berhaupt erm¨oglicht ha-
ben, das Studium zu absolvieren, bin ich sehr dankbar.
MeinerFreundinBarbaradankeichherzlichstfu¨rihremoralischeUnterstu¨tzung
und Liebe.
Vor allem danke ich meinem liebevollen Heiland und Gott, Jesus Christus,
der mein Leben recht fu¨hrt.
Verlaß’ dich auf den Herrn von ganzem Herzen, und verlaß’
dich nicht auf deinen Verstand, sondern gedenke an ihn in allen
deinen Wegen, so wird er dich recht fu¨hren.
(Spru¨che3,5und6nachLuther-Bibel)
Zusammenfassung
Im Rahmen dieser Masterarbeit habe ich einen Vision-basierten
Adaptive-Cruise-Control (ACC) Prototypen entwickelt, wobei ich fol-
gende Ziele verfolgt habe:
• Erkennung von Fahrzeugen
• Verfolgung von Fahrzeugen
• Abstandsmessungen unter Zuhilfenahme von Stereoinformation
• Feature-clustering
Diese Ziele sind wie folgt erreicht und umgesetzt worden:
Fu¨r die Fahrzeugerkennung habe ich einen statistischen Ansatz
gew¨ahlt, der auf Haar-classifiers basiert. Zu diesem Zweck habe ich
ein Programm entwickelt, um einen von mir erstellten Klassifikator,
der auf Haar-like Features basiert), zu testen. Diesem Programm wird
ein Videostream u¨bergeben, in dem Fahrzeuge mittels dem Klassifika-
tor in den frames erkannt und markiert werden (bounding box).
DieFahrzeugverfolgungwurdemittelsInformationendesoptischen
Flusses realisiert (Feature-basierter Ansatz). Auch hier wird ein Vi-
deostream folgendermaßen verarbeitet: Das Fahrzeug wird manuell
mit einem Punkt sowohl im linken als auch rechten Bild (stereo) mar-
kiert. Dieses Referenz-feature wird in den aufeinanderfolgenden Bil-
dern mittels optischen Fluss verfolgt. Durch diesen Ansatz wurden
sehr gute Ergebnisse beobachtet.
Neben der Fahrzeugerkennung und -verfolgung weist ein ACC-
System die Funktionalit¨at der Entfernungsmessung auf. Um diese zu
realisieren,habeichdenZusammenhangzwischenDisparit¨atundTie-
feninformationen genu¨tzt.
Die Funktionalit¨at des Feature-clustering erm¨oglicht es, mehrere
Punkte (Features) zu einer Menge zusammenzufassen und diese als
eine Einheit zu betrachten. Dieses Zusammenfassen von Punkten soll
zeigen, dass es m¨oglich ist, zur selben Zeit mehrere Fahrzeuge, die
auf Basis mehrerer Features verfolgt werden, zu verfolgen und die ent-
sprechendenAbst¨andezuberechnen(ZurBestimmungderEntfernung
wird ein Referenz-feature aus der Featuremenge verwendet).
Abstract
Within the bounds of this master thesis I have developed a vision-
based Adaptive-Cruise-Control (ACC) Protoype. The goals are de-
fined as follows:
• Vehicle detection
• Vehicle tracking
• Distance calculations using stereo information
• Feature clustering
In order to achieve my goals, I have implemented the following func-
tionalites:
I realized the vehicle detection with a statistical approach based
on Haar-classifiers and developed a program to test the classifier that
I have created on my own (based on Haar-like Features). The pro-
gram’s input is a video stream, in which vehicles are detected and
marked with a bounding box (rectangle around the detected vehicle).
For the process of tracking I used a feature-based optical flow ap-
proach. The program’s input is a video stream that is processed as
follows: Thevehicleismarkedmanuallywithapointintheleftaswell
as in the right image (stereo). This reference feature is tracked over
consecutiveimagewithinformationfromtheopticalflow. Itturnsout
that this method is very robust and provides good results.
Additionally, an ACC-System has to cope with distance calcula-
tion. The distance calculation is done by exploiting the relationship
between disparity and depth information.
Feature clustering is the process of grouping features that belong
to one object. Every clustered feature set is treated as a single entity
in the tracking task.. The clustering demonstrates the possibility to
track more vehicles that use more than one feature and to adequately
calculate the distances to them (A reference feature of the feature set
is used for distance calculations).
INHALTSVERZEICHNIS 5
Inhaltsverzeichnis
1 Einleitung 7
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 Aufbau der Arbeit . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.1 Ziele . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.2 Gliederung . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3 ACC-Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.1 ACC-Systeme und Computer Vision . . . . . . . . . . 20
2 Stereo-Vision und Kamerakalibrierung 22
2.1 Einfu¨hrung in Stereo-Vision . . . . . . . . . . . . . . . . . . . 22
2.1.1 Umweltwahrnehmung des Menschen . . . . . . . . . . . 23
2.1.2 Korrespondenzproblem . . . . . . . . . . . . . . . . . . 24
2.1.3 L¨osungsans¨atze zum Korrespondenzproblem . . . . . . 26
2.2 Grunds¨atzliches zur Kamerakalibrierung . . . . . . . . . . . . 28
2.2.1 Motivation und Definition . . . . . . . . . . . . . . . . 28
2.2.2 Kameraparameter . . . . . . . . . . . . . . . . . . . . . 29
3 Objekterkennung 32
3.1 Menschliche Objekterkennung - Theorien . . . . . . . . . . . . 33
3.2 Maschinelle Objekterkennung auf der Straße . . . . . . . . . . 37
3.3 Methoden der Objekterkennung . . . . . . . . . . . . . . . . . 39
3.3.1 Hypothesengenerierung . . . . . . . . . . . . . . . . . . 44
3.3.2 Hypothesenverifikation . . . . . . . . . . . . . . . . . . 56
3.4 Anmerkungen zu den Methoden der HG und HV . . . . . . . 63
3.4.1 Anmerkungen zu den Methoden der HG . . . . . . . . 65
3.4.2 Anmerkungen zu den Methoden der HV . . . . . . . . 68
4 Objektverfolgung 70
4.1 Objekterkennung und Objektverfolgung . . . . . . . . . . . . . 70
4.2 Tracking-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . 71
4.3 Sch¨atzer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.3.1 System-Modellierung . . . . . . . . . . . . . . . . . . . 75
4.3.2 Zustandssch¨atzung durch Algorithmen . . . . . . . . . 76
INHALTSVERZEICHNIS 6
4.3.3 Kalman Filter . . . . . . . . . . . . . . . . . . . . . . . 77
4.3.4 Condensation Filter . . . . . . . . . . . . . . . . . . . . 80
5 Vorstellung des Prototypen 82
5.1 Entwicklungs- und Testumgebung . . . . . . . . . . . . . . . . 82
5.2 OpenCV-Bibliothek . . . . . . . . . . . . . . . . . . . . . . . . 83
5.3 Object Detection . . . . . . . . . . . . . . . . . . . . . . . . . 84
5.3.1 Statistischer Ansatz zur Objekterkennung . . . . . . . 84
5.3.2 Das statistische Modell . . . . . . . . . . . . . . . . . . 85
5.3.3 Erstellen, Training und Testen eines classifier . . . . . 88
5.4 Tracking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
5.4.1 Tracking mit Optical Flow Information . . . . . . . . . 91
6 Ergebnisse 97
7 Zusammenfassung und Ausblick 102
1 EINLEITUNG 7
1 Einleitung
([ACC])
1.1 Motivation
SystemewieACC(adaptive cruise control),diversepre-crash Systeme,sollen
dem Fahrzeuglenker eine Hilfe anbieten, sich im st¨andig ansteigenden Ver-
kehrsalltagbesserundvorallemsichererzubewegen.EinAspekt,derdieEnt-
wicklung immer stabilerer Systeme motiviert, ist neben der Unterstu¨tzung
desFahrersdieSicherheitdesMenschens.EsgibtzahlreicheAnwendungenim
Bereich Fahrerassistenzsysteme, die dem Fahrzeuglenker nicht nur Hilfe, son-
dern auch Sicherheit auf den Straßen bieten. Die Systeme sollen dem Fahrer
nicht nur auf unu¨bersichtlichen Straßen in u¨berfu¨llten St¨adten unterstu¨tzen,
sondern ihm auch auf Gefahren bezu¨glich Wildverkehr, Fussg¨angern, Kin-
dern (die grunds¨atzlich aus dem Vertrauensgrundsatz ausgeschlossen sind)
aufmerksam machen. Heutzutage ist es m¨oglich, durch die st¨andige Weiter-
entwicklung der Forschung im Bereich des Verkehrswesens, funktionsf¨ahigere
Systeme zu entwickeln. Diese Funktionalit¨at soll dem Fahrer vor Unf¨allen di-
verser Art schu¨tzen. Ein wesentlicher Aspekt bei Fahrerassistenzsysteme ist
jener der Bedienbarkeit solcher Systeme. Im Wettbewerb spielt dieser Aspekt
eine große Rolle, und zwar gewinnt meistens nicht das System mit dem
gr¨oßten Funktionsumfang, sondern jenes mit hochgradig definierter Usabili-
ty, d.h., dass Systeme mit leichter intuitiver Bedienbarkeit preferiert werden.
Der Fahrer m¨ochte das erworbene System nicht tagelang studieren mu¨ssen,
um es dann schliesslich verwenden zu k¨onnen.
ACC-Systeme sollen aber nicht nur die Sicherheit des Fahrers erh¨ohen, son-
dern auch den Komfort. Der Fahrer soll bis zu einem gewissen Grad durch
das aktive System entlastet werden. Hierbei ist aber zu beachten, dass die
Verantwortung zu 100% beim Fahrer liegt und nicht dem System bzw. dessen
Hersteller u¨bertragen werden kann. Bei der Verwendung solcher Systeme ist
also insofern Vorsicht geboten, als dass man sich nicht v¨ollig auf das System
verlassen kann.
DiemeistenACC-SystemebasierenaufRadarsysteme,dieamFahrzeugmon-
tiert sind. In meiner Arbeit habe ich ein visionbasiertes ACC-System reali-
siert. Was bedeutet das? Anstatt Radar, Lidar [LID], etc. zur Abstands-
messung, zur Objekterkennung und dergleichen zu verwenden, kommen Ka-
1 EINLEITUNG 8
merasysteme zum Einsatz. Die Bilder, die von diesen aufgenommen wer-
den, sind dann entsprechend zu verarbeiten. Dies geschieht mittels Vision-
Algorithmen, d.h., dass hierfu¨r Methoden aus dem Bereich Computer Visi-
on zum Einsatz kommen. Zuerst muss das Objekt, das im focus of interest
steht, erkannt werden. Im konkreten Fall handelt es sich bei diesem speziellen
Objekt um jenes Fahrzeug, das vor einem f¨ahrt. Mittels bestimmter Objek-
terkennungsmethoden ist es m¨oglich, ein Fahrzeug in einem Bild (frame)
entsprechend zu erkennen und lokalisieren. Hat man es erkannt, k¨onnen Ob-
jektverfolgungsalgorithmen angewendet werden, um das entsprechende Fahr-
zeug in einer Video-Sequenz oder in Echtzeit zu verfolgen. Fu¨r meinen Pro-
totyp fu¨hre ich die Objekterkennung mit Hilfe von Haar-like features durch.
Um die Objektverfolgung zu realisieren, realisiere ich die Idee, Informationen
des optischen Flusses zu verwenden. Fu¨r die ACC Funktionalit¨at der Ent-
fernungsmessung verwende ich anstelle von rechenintensiven Tiefenberech-
nungen aus Stereobildern (mittels Pixelvergleich) einen schnelleren feature-
basierenden Ansatz (siehe Kapitel 5.4). Die Entfernungsberechnungen zum
vorderen Fahrzeug (aber auch durch ein beliebig manuell markierbares Ob-
jekt) sind auf diese Weise effizienter durchzufu¨hren.
ACC-Systeme basierend auf Radar und dergleichen weisen einige Nachteile
auf, die u.a. eine Motivation fu¨r die Arbeit sind, ACC-Systeme basierend auf
Computer Vision umzusetzen. Weiters sind Kamerasysteme kostengu¨nstiger
und weiter verbreitet. Heutzutage sind beinahe in jedem Mobiltelefon Kame-
ras installiert. Aus diesem Grund k¨onnte man dahingehend forschen, Vision-
basierteACC-SystememitKamerasausdiversenGer¨aten,wieMobiltelefone,
digitale Kameras, etc. zu koppeln und somit Extraanschaffungen von Kame-
rasystemen fu¨r ein ACC-System zu vermeiden. Zus¨atzlich k¨onnte man daher
diese Systeme auch fu¨r ¨altere Fahrzeugmodelle verwenden, da man die Ka-
mera nicht in das Fahrzeug selbst montieren mu¨sste. In diesem Sinne w¨aren
generische ACC-Systeme fu¨r beliebige Fahrzeugmodelle bzw. Kamerasyste-
me ohne großen Aufwand bezu¨glich Montage verwendbar.
1 EINLEITUNG 9
1.2 Aufbau der Arbeit
1.2.1 Ziele
In dieser Masterarbeit geht es um zwei wesentliche Themenbereiche aus
der Computer Vision, um Objekterkennung und Objektverfolgung. Im Be-
reich Objekterkennung gibt es zahlreiche Ans¨atze und Methoden, die versu-
chen, m¨oglichst effizient (beliebige) Objekte in aufgenommenen Bildern zu
erkennen. Welcher Ansatz fu¨r welche Problemdom¨ane am besten einzuset-
zen ist, obliegt nicht nur der subjektiven Einsch¨atzung der unterschiedlichen
Ans¨atze. Meist werden Konglomerate aus den verschiedenen Methoden ver-
wendet, um bessere Ergebnisse zu erzielen. Aus diesem Grund wird nicht nur
aufeinespezielleMethodederObjekterkennungeingegangen,sonderneswer-
den mehrere Ansatzm¨oglichkeiten n¨aher erl¨autert und die Vor- bzw. Nachtei-
le der jeweiligen Methoden aufgezeigt. Zum theoretischen Erarbeiten dieser
Methoden ist es sinnvoll, Anwendungen diverser Objekterkennungsmethoden
aus der Forschung zu betrachten, die bereits mehr oder weniger erfolgreich
umgesetzt wurden. Ziel ist es, einen U¨berblick u¨ber unterschiedliche Ans¨atze
in der Objekterkennung aufzuzeigen, um fu¨r die weitere Arbeit eine gute
Basis und ein globales Wissen im Bereich Objekterkennungsmethoden zu er-
langen. Im zweiten Hauptkapitel meiner Arbeit gehe ich n¨aher auf diverse
Methoden ein, die darauf abzielen, Objekte, die vorher durch Objekterken-
nung - automatisch oder aber auch manuell - erkannt wurden, zu verfolgen.
Die Rede ist von der Anwendung von sogenannten Tracking-Algorithmen. In
der Arbeit wird, wie bei der Objekterkennung, zuerst die Theorie erarbeitet,
gefolgt von bereits bekannten umgesetzten Tracking-Anwendungen.
Neben den zwei Hauptthemen dieser Arbeit, Objekterkennung und Tracking,
soll aber auch auf die Vorteile aus dem Bereich Stereo-Vision hingewiesen
werden,wobeiKamerakalibrierungeinewesentlicheVoraussetzungbildet,um
pr¨azise Berechnungen durchfu¨hren zu k¨onnen. Die wesentlichsten Parameter,
die bei der Kamerakalibrierung beru¨cksichtigt werden mu¨ssen, werden in ei-
nem Kapitel dieser Arbeit allgemein beschrieben.
WiederTitelderArbeitbereitsimpliziert,wirdversucht,ACC-Funktionalit¨at
mittels Vision-Algorithmen zu realisieren. Welche Typen von ACC-Systemen
es gibt bzw. wie deren Funktionalit¨at aussieht, wird im Abschnitt 1.3 behan-