Table Of ContentRalph Sasse
Bestimmung von
Entfemungsbildem
durch aktive
stereoskopische Vedahren
Fortschritte der Robotik
Herausgegeben von Walter Ameling und Manfred Weck
Band 7 Band 16
Ralph Föhr Harald Rieseier
Photogrammetrische Erfassung Roboterkinematik - Grundlagen,
räumlicher Informationen Invertierung und symbolische
aus Videobildern Berechnung
Band 8 Band 17
Bernhard Bundschuh Angelika Höfer
Laseroptische Steuerung der Konfiguration eines
3D-Konturerfassung redundanten Manipulators
Band 9 Band 18
Hans-Georg Lauffs Peter Kovacs
Bediengeräte zur Rechnergestützte symbolische
3D-Bewegungsführung Roboterkinematik
Band 10 Band 19
Meinolf Osterwinter Andreas Zabel
Steuerungsorientierte Werkstattorientierte
Robotersimulation Programmierung von
Industrierobotern für automatisiertes
Band 11
Markus a Campo Lichtbogenschweißen
Kollisionsvermeidung in einem
Band 20
Robotersimulationssystem Matthias Müller
Roboter mit Tastsinn
Band 12
Jürgen Cordes Band 21
Robuste Regelung eines Andreas Meisel
elastischen Teleskoparmroboters 3D-Bildverarbeitung für feste
und bewegte Kameras
Band 13
Guido See ger Band 22
Selbsteinstellende, modellgestützte Ralf Gutsche
Regelung eines Industrieroboters Fahrerlose Transportsysteme
Band 14 Band 23
Ralph Gruber Ralph Sasse
Handsteuersystem für Bestimmung von Entfernungsbildern
die Bewegungsführung durch aktive stereoskopische
Verfahren
Band 15
WeiLi
Grafische Simulation und
Kollisionsvermeidung
von Robotern
Ralph Sasse
Bestimmung von
Entfernungsbildern
durch aktive
stereoskopische Verfahren
IJ
VI.Weg
Die Deutsche Bibliothek - CIP-Einheitsaufnahme
Sasse, Ralph:
Bestimmung von Entfernungsbildern durch aktive
stereoskopische Verfahren / Ralph Sasse. -
Braunschweig; Wiesbaden: Vieweg, 1994
(Fortschritte der Robotik; Bd. 23)
Zug!.: Berlin, Techn. Univ., Diss.
Fortschritte der Robotik
Exposes oder Manuskripte zu dieser Reihe werden zur Beratung erbeten an:
Prof. Dr.-Ing. Walter Ameling, Rogowski-Institut für Elektrotechnik der RWTH Aachen,
Schinkelstr. 2, D-52062 Aachen
oder
Prof. Dr.-Ing. Manfred Weck, Laboratorium für Werkzeugmaschinen und Betriebslehre
der RWTH Aachen, Steinbachstr. 53, D-52074 Aachen
oder an den
Verlag Vieweg, Postfach 58 29, D-65048 Wiesbaden.
D 83 (Diss. TU Berlin)
Alle Rechte vorbehalten
© Friedr. Vieweg & Sohn Verlagsgesellschaft mbH, Braunschweig/Wiesbaden, 1994
Softcover reprint ofthe hardcover 1st edition 1994
Der Verlag Vieweg ist ein Unternehmen der Bertelsmann Fachinformation GmbH.
Das Werk einschließlich aller seiner Teile ist urheberrechtlich
geschützt. Jede Verwertung außerhalb der engen Grenzen des
Urheberrechtsgesetzes ist ohne Zustimmung des Verlages unzu
lässig und strafbar. Das gilt insbesondere für Vervielfältigungen,
Übersetzungen, Mikroverfilmungen und die Einspeicherung und
Verarbeitung in elektronischen Systemen.
Gedruckt auf säurefreiem Papier
ISBN 978-3-528-06656-7 ISBN 978-3-322-88814-3 (eBook)
DOI 10.1007/978-3-322-88814-3
Vorwort
Der Verfasser dankt Herrn Prof. G. Hommel für die Betreuung und Förderung dieser Arbeit,
ebenso Herrn Prof. R. Klette für die gewährte Unterstützung.
Für die Beratung und Unterstützung in theoretischen und praktischen Belangen sowie für aus
führliche Diskussionen sei Herrn Dr. A. Knoll gedankt.
In gleicher Weise gilt der Dank den Studenten, die mit Ihren Studien- oder Diplomarbeiten
Grundlagen geschaffen haben, ohne die diese Arbeit nicht zustande gekommen wäre. Beson
ders hervorgehoben seien dabei die Herren Dipl.-Ing. F. Ottink sowie Dipl.-Ing. M. Verch.
VI
Inhalt
1 Einleitung ................................................................................................................... 1
2 Kameramodell ........................................................................................................... 3
2. 1. Lochkameramodell .................................................................................................. 3
2.2. Unzulänglichkeiten des Lochkameramodells .......................................................... 4
2.3. Kamerakalibrierung ................................................................................................. 5
2.4. Kollinearitätsmodell ................................................................................................ 7
2.5. Anwendungsmöglichkeiten des Modells ............................................................... 12
2.6. Optimale Kameraanordnung .................................................................................. 18
2.7. Mobile Kameras .................................................................................................... 23
3 Entfernungsmessende Verfahren ........................................................................... 25
3.1 Klassifizierung ....................................................................................................... 25
3.2 Aktive Verfahren ................................................................................................... 26
3.2.1 Punktbeleuchtung .............................................................................................. 26
3.2.2 Streifenbeleuchtung .......................................................................................... 29
3.2.3 Binärkodierte Streifenbeleuchtung ................................................................... 31
3.2.4 Farbkodierte Streifenbeleuchtung ..................................................................... 34
3.3 Passive Stereoanalyse ............................................................................................ 37
3.3.1 Phaseneinteilung der Verfahren ........................................................................ 37
3.3.2 Korrespondenzsuche ......................................................................................... 39
3.3.3 Annahmen und Einschränkungen zur Korrespondenzsuche ............................. 42
3.3.4 Problemfälle ...................................................................................................... 46
3.3.5 Primitivaextraktion ........................................................................................... 50
3.3.6 Beispiele für Ähnlichkeitsmaße ........................................................................ 50
3.3.7 Darstellung des Meßergebnisses ....................................................................... 51
3.4 Aktive Stereometrie ............................................................................................... 54
VII
4 Laserstereometrie .................................................................................................... 59
4.1 Grundlagen ............................................................................................................ 59
4.2 Experimentelle Ergebnisse .................................................................................... 62
4.2.1 Meßgenauigkeit. ................................................................................................ 63
4.2.2 Entfemungskarten ............................................................................................. 68
5 Aktive Stereometrie mit Farbe. .............................................................................. 71
5. 1 Grundlagen ............................................................................................................ 71
5.1.1 Farbmetrik ......................................................................................................... 71
5.1.2 Beschreibung des Verfahrens ........................................................................... 82
5.2 Experimentelle Ergebnisse .................................................................................... 95
5.2.1 Meßgenauigkeit. ................................................................................................ 96
5.2.2 Entfernungskarten ........................................................................................... 113
6 Zusammenfassung und Ausblick ......................................................................... 119
7 Literatur ................................................................................................................. 125
Anhang A .•..•••.•••........••.•.•................•..........••••••••..........••••..........•..•••...•••..••..•••.••...•..... A-l
1 Einleitung
Da Roboter im dreidimensionalen Raum arbeiten, ist es notwendig, ihre Arbeitsumge
bung mit dreidimensional arbeitenden Sensoren zu erfassen. So muß z.B. die exakte
Stellung eines Objektes ermittelt werden, bevor es gegriffen werden kann. Ist die Form
des Objekts nicht bekannt, dann werden zusätzlich Informationen über seine Gestalt
benötigt, um eine GreifsteIlung bestimmen zu können. Allgemein können die Anwen
dungsgebiete dreidimensional arbeitender Sensoren unterteilt werden in
Kollisionsvermeidung und Wegeplanung, sowie
Objekt-und/oder Lageerkennung.
Die Anforderungen an den Sensor unterscheiden sich je nach Anwendungsgebiet.
Leistungsparameter sind:
der Arbeitsbereich des Sensors
die Präzision der Messungen (Auflösung und Genauigkeit)
die Anzahl der Meßpunkte
die Meßrate
die Störunempfindlichkeit.
Allgemein muß für die Kollisionsvermeidung und Wegeplanung der Arbeitsbereich des
Sensors größer, die Präzision der Messungen und die Anzahl der Meßpunkte geringer
und die Meßrate größer als bei der Objekt- und Lageerkennung sein. Eine wesentliche
Anforderung an ein zu entwickelndes Sensorsystem muß daher sein, daß es einfach an
die unterschiedlichen Anforderungen angepaßt werden kann. [Jain 90] stellt in einer
Übersicht über den Stand der Technik für entfernungsmessende Systeme die Forderung
auf, daß zukünftige entfernungsmessende Systeme in der Lage sein sollen, die Meß
datenerfassung so kurz zu gestalten, daß auch bewegte Objekte erfaßt werden können.
Computer-Sichtsysteme sind in vielfacher Hinsicht gut geeignet, Umweltinformation
aufzunehmen. Im einfachsten Fall liefern diese Systeme jedoch nur zweidimensionale
Information, da bei der Abbildung einer Szene auf die Bildfläche einer Kamera die
Tiefeninformation verlorengeht. In der Literatur wird eine Vielzahl von entfernungs
messenden Verfahren beschrieben, die diesen Informationsverlust ausgleichen.
Eine relativ neue Herangehensweise an das Problem der Entfernungsmessung ist die
Kombination einer aktiven Energiequelle mit dem normalerweise passiv arbeitenden
Stereoverfahren, die sogenannte aktive Stereometrie [Gerhardt 86]. Dieses Prinzip wird
in der vorliegenden Arbeit vorgestellt und auf seine Leistungsfähigkeit hin untersucht,
sowie eine neue Ausprägung - die aktive Stereometrie mit Farbe - vorgestellt.
2
In den folgenden Kapiteln werden zunächst die wesentlichen theoretischen Grundlagen
bereitgestellt, die zur Entfernungsbilderstellung mittels der aktiven Stereometrie erfor
derlich sind. Dazu wird in Kapitel 2 ein geeignetes Kameramodell eingeführt, mit dem
(u.a.) die Entfernungsberechnung bei einem beliebigen Kameraaufbau möglich ist.
In Kapitel 3 wird zuerst auf bekannte und den hier vorgestellten Verfahren verwandte
Ansätze eingegangen. Es werden aktive Verfahren vorgestellt, die mit einer Kamera
und mit unterschiedlichen Energiestfukturen arbeiten. Die Vorstellung der Verfahren
zeigt die historische Entwicklung der Komplexitätssteigerung der Energiestfukturen auf
und dient der Vorbereitung zur folgerichtigen Einführung der kontinuierlichen Farb
kodierung. Vom Prinzip her wäre jedes der vorgestellten aktiven Verfahren zur Kombi
nation mit der passiven Stereometrie geeignet. Weiterhin wird eine Zusammenfassung
der Schwierigkeiten und Lösungsansätze der passiven Stereoanalyse vorgenommen.
Die meisten der in diesem Kapitel gezeigten Lösungsansätze können bei der aktiven
Stereometrie verwendet werden. Die Vorstellung der existierenden Verfahren abschlie
ßend, wird das Meßprinzip der aktiven Stereometrie im Detail erläutert, sowie eine
Gegenüberstellung der drei Ansätze vorgenommen.
In den Kapiteln 4 und 5 werden schließlich beispielhaft zwei unterschiedliche Verfah
ren vorgestellt, die auf dem Prinzip des aktiven Stereos basieren. Sie dienen dem
Nachweis bzw. der Untersuchung der Anwendbarkeit des Meßprinzips. Dabei wird in
Kapitel 4 die Laserstereometrie - ein hochgenaues aber relativ langsames Meßverfah
ren - vorgestellt. Die Laserstereometrie verwendet wie die Punktbeleuchtung als Ener
giestfuktur einen in die Szene projizierten Laserpunkt. Die Laserstereometrie dient da
bei der Untersuchung, ob und mit welcher Genauigkeit mit Hilfe der aktiven Stereo
metrie Entfernungsmessungen vorgenommen werden können.
Schließlich wird in Kapitel 5 die aktive Stereometrie mit Farbe vorgestellt. Dieses neue
Verfahren ist eine Fortentwicklung der Farbstreifenbeleuchtung, verwendet aber eine
dreidimensionale, farbige, kontinuierliche Energiestfuktur, die ausschließlich im Zu
sammenhang mit der aktiven Stereometrie anwendbar ist. Die aktive Stereometrie mit
Farbe ist im Vergleich zur Laserstereometrie ein relativ genaues, sehr schnelles Verfah
ren. Es stellt das derzeit einzige Verfahren dar, das vom Prinzip her alle Möglichkeiten
der aktiven Stereometrie ausschöpfen kann. Es zeichnet sich vor den meisten aktiven
Triangulationsverfahren dadurch aus, daß mit einer einzigen Aufnahme die gesamte
Meßdatenerfassung vorgenommen werden kann. Dadurch ist die Erfassung bewegter
Objekte möglich. Weiterhin ist es gegenüber Farbänderungen durch die Objekte in der
Szene unempfindlich, wodurch die Wahl der Kodierungsform so getroffen werden
kann, daß eine beliebig hohe Auflösung erreicht werden kann. Die herausragenden
Vorteile gegenüber der passiven Stereometrie sind die prinzipbedingte Möglichkeit zur
Erzeugung sehr dichter Entfernungskarten und die einfache Korrespondenzanalyse, die
leicht parallelisierbar ist. Dadurch ist eine hohe Auswertungsgeschwindigkeit erreich
bar. Weiterhin ermöglicht das Meßprinzip die einfache Erkennung von Meßlücken aus
den Meßdaten.
3
2 Kameramodell
Das Kameramodell dient der exakten mathematischen Beschreibung der Abbildungs
verhältnisse der verwendeten Kameras. Im folgenden werden die wichtigsten Berech
nungsvorschriften für die Entfernungsberechnung, insbesondere für den nicht achsen
parallelen Stereoaufbau, hergeleitet. Weiterhin werden einige auf dem Modell aufbau
ende Anwendungen, wie z.B. die Berechnung der Epipolargeometrie und ein Kamera
modell für mobile Kameras, vorgestellt. Dazu wird zunächst das einfache Loch
kameramodell vorgestellt, das heute noch in vielen Anwendungen eingesetzt wird.
Wegen einiger Unzulänglichkeiten dieses Modells wird das bessere Kollinearitäts
modell eingeführt, das insbesondere für Anwendungen in der Robotik geeignet ist, da
es ein kameraexternes Bezugskoordinatensystem berücksichtigt. Abschließend wird ge
zeigt, daß die Einführung des Kollinearitätsmodells trotz des hohen algorithmischen
Aufwandes für Stereoanalysesysteme sinnvoll ist, da durch eine schielende Kamera
anordnung eine Genauigkeitssteigerung erreicht werden kann.
2.1. Lochkameramodell
Die Punktprojektion ist das grundlegende Modell der Transformation, die vom
menschlichen Auge, von Kameras oder verschiedenen anderen Bildgeräten benutzt
wird [Ballard 82]. In erster Annäherung funktionieren diese Bildaufnahmegeräte wie
eine Lochkamera, in der das Bild aus Punkten der dargestellten Szene besteht, deren
Sichtstrahlen durch einen einzelnen Punkt (Projektions- oder Fokuspunkt) auf eine
Bildfläche geworfen werden.
z z
Abbildung 2.1: Das Lochkameramodell (nach [Ballard 82])
Die Bildfläche befindet sich (wie im linken Teil von Abb. 2.1) im Abstand f hinter die
sem Projektionspunkt. Der Abstand f wird als Fokuslänge oder als Brennweite bezeich
net. Das Bild ist seitenverkehrt und auf den Kopf gestellt. Legt man die Bildfläche wie
im rechten Teil von Abb. 2.1 im gleichen Abstand vor den Projektionspunkt, kommt
