Neuronale Netze für technische Anwendungen

212 Pages·1994·14.42 MB·German

by  Karsten Berns

FZI -Berichte Informatik
Herausgegeben yom Forschungszentrum Informatik
an der Universitat Karlsruhe (FZI)
Herausgebergremium: R. Dillmann G. Goos P. C. Lockemann
U. Rembold W. Rosenstiel
K. Berns T. Kolb
N euronale N etze
fur technische
Anwendungen
Springer-Verlag
Berlin Heidelberg New York
London Paris Tokyo
Hong Kong Barcelona
Budapest
Herausgeber
Forschungszentrum Informatik an der Universitat Karlsruhe (FZI)
Haid-und-Neu-StraBe 10-14, D-76131 Karlsruhe
Autoren
Karsten Berns
Forschungszentrum Informatik an der Universitat Karlsruhe
Haid-und-Neu-StraBe 10-14, D-76131 Karlsruhe
Thorsten Kolb
Technische Hochschule Cottbus
Karl-Marx-StraBe 17, D-03046 Cottbus
ISBN-13: 978-3-540-58251-9 e-ISBN-13: 978-3-642-79148-2
DOl: 10.1007/978-3-642-79148-2
Dieses Werk ist urheberrechtlich geschiitzt. Die dadurch begriindeten Rechte, insbesondere die der Oberset
zung, des Nachdrucks, des Vortrags, der Entnahme von Abbildungen und Tabellen, der Funksendung, der
Mikroverfilmung oder der VervieWiltigung auf anderen Wegen und der Speicherung in Datenverarbeitungs
anlagen, bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten. Eine Vervielfiiltigung dieses Werkes
oder von Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestirnrnungen des
Urheberrechtsgesetzes der Bundesrepublik Deutschland vom 9. September 1965 in der jeweils geltenden
Fassung zulassig. Sie ist grundsatzlich vergiitungspflichtig. Zuwiderhandlungen unterliegen den Strafbe
stirnrnungen des Urheberrechtsgesetzes.
© Springer-Verlag Berlin Heidelberg 1994
Satz: Reproduktionsfertige Vorlage vom Autor
SPIN: 10084242 45/3140-5432 I 0-Gedruckt aufsaurefreiem Papier
Vorwort
Ktinstliche Neuronale Netze oder Konnektionistische Systeme haben schon lange
Einzug in die Forschung der kiinstlichen Intelligenz, Robotik, Sprachverarbeitung
und Bildverarbeitung gehalten. Zusatzlich zu diesen klassischen Anwendungsfel
dem werden in letzter Zeit immer mehr neuronale Ansatze in Bereichen verfolgt,
die bisher mit analytischen Methoden oder mit regelbasierten Verfahren ge16st
wurden. Beispiele hierfiir sind Verfahren zur Untersttitzung von Aktienprognosen,
Wetter- und Smogvorhersagen sowie zahlreiche Diagnoseaufgaben aus der Che
mie, dem Maschinenbau und der Medizin. Diese haufig sehr unterschiedlichen
Aufgabenstellungen haben gemeinsarn, daB sie analytisch schwer beschreibbar
sind und aufgrund ihrer Komplexitat mit herkommlichen Verfahren nur unzurei
chend gelost werden k6nnen.
Zur Zeit besteht aber eine enorme Diskrepanz zwischen der weltweiten FIut
neuronaler L6sungsansatze und deren Einsatz in der industriellen bzw. kommerzi
ellen Praxis. Dies hat mehrere Grunde. Zum einen weicht die hier ben6tigte Pro
blem16sungsdenkweise v611ig von der traditionell praktizierten ab, zum anderen
gibt es gegentiber theoretischen Ansatzen keine geschlossene Theorie.
Diese zuruckhaltende Raltung ist auch darnit zu begrtinden, daB es sehr schwierig
ist, einen ausreichenden Uberblick tiber relevante Ver6ffentlichungen zu erhalten,
die L6sungsm6glichkeiten fiir ein bestimmtes Problem beschreiben. Andere Pro
bleme sind bei stark anwendungsorientierten Ver6ffentlichungen die meist unzu
reichenden Darstellungen der verwendeten Neuronalen Netze und deren
Lemverfahren sowie das Fehlen einer detaillierten Problembeschreibung.
Dieses Buch richtet sich daher in erster Linie an Informatiker und Ingenieure,
die fiir industrielle und kommerzielle Problemstellungen geeignete L6sungsver
fahren suchen und m6glichst schnell abschatzen wollen, inwieweit Neuronale
Netze zur L6sung geeignet erscheinen. Neben dem Anwender aus der Industrie
kann dieses Buch auch dem praxisorientierten Forscher empfohlen werden.
Um diese Zielsetzung zu erreichen und eine Ubersicht tiber aIle praxisrelevan
ten Anwendungen Neuronaler Netze geben zu k6nnen, wurde eine sehr kompakte,
sich auf die wesentIichen Dinge beschrankende Darstellung gewahlt. Dabei wur
de auf theoretische Betrachtungen weitestgehend verzichtet. Ftir einen tieferen
Einstieg in speziellere Problemfelder wird an den entsprechenden Stellen auf ge-
VI Vorwort
eignete Literatur verwiesen. Eine weitere Zielsetzung dieses Buches besteht dar
in, demjenigen, der Neuronale Netze fUr ein bestimmtes Problem einsetzen
mochte, eine sinn volle Vorgehensweise aufzuzeigen.
Das vorliegende Buch gliedert sich in acht Kapitel. Neben einem kritischen
Uberblick tiber die Neuro-Forschung und deren Ergebnisse von den Anfangen bis
heute werden in Kapitel 3 die verschiedenen Netztypen kurz vorgestellt. Bei die
ser Darstellung liegt das Hauptaugenmerk auf einer einheitlichen algorithmischen
Beschreibung und auf der Auflistung der Vor- und Nachteile der einzelnen Lern
verfahren. Dadurch wurde auch ein Vergleich zwischen den unterschiedlichen
Lernverfahren ermoglicht. Dieses Kapitel stellt allerdings nur eine Einfiihrung
dar und ist keineswegs als Alternative zu den zahlreichen ausfiihrlichen VerOf
fentlichungen iiber neuronale Lernverfahren und deren mathematischer Herlei
tung gedacht.
1m Kapitel 4 Experimentelle Anwendungen in Forschung und Entwicklung
werden, klassifiziert nach verschiedenen Anwendungsfeldern, die verwendeten
Netze, die Anforderungen von Seiten der Aufgabenstellung und die erzielten Er
gebnisse anhand von Beispielen beschrieben. Erganzt wird diese Aufzahlung
durch Tabellen, in denen weitere interessante Anwendungen aufgefiihrt sind. Nur
wenige der besprochenen Beispiele wurden bis jetzt als kommerzielle Produkte
eingesetzt. 1m nachsten Kapitel werden in ahnlicher Weise neuronale Losungsal
gorithmen in kommerziellen Produkten beschrieben. Die Darstellung ist relativ
kurz gehalten, da es in den meisten Fallen unmoglich war, von den jeweiligen Fir
men exakte Beschreibungen ihrer Produkte zu erhalten.
In Kapitel 6 werden Werkzeuge fiir die Simulation bzw. Realisierung Neuro
naler Netze aufgefiihrt und die dazugehorenden Entwicklungsumgebungen be
schrieben. AnschlieBend sind einige niitzliche Informationen iiber einfiihrende
Literatur, Zeitschriften, Konferenzen, Organisationen, Forschungszentren, Forde
rungsmoglichkeiten und Patente aus dem Bereich Neuronale Netze zusammenge
stellt. Dieses Buch endet mit einer Checkliste, die es dem Anwender ermoglichen
solI, leichter abzuschiitzen, ob Neuronale Netze bzw. bestimmte Netztypen fiir
seine Anwendung Vorteile gegeniiber herkommlichen Techniken bringen oder
nicht.
Die Autoren danken dem Forschungszentrum Informatik, insbesondere dem
Herausgeberrat und dessen Vorsitzenden Herrn Prof. Dr. W. Rosenstiel fiir ihre
wertvollen Anregungen und Verbesserungsvorschlage. Unser Dank gilt auch
Herrn Prof. Dr. R. Dillmann, der das Erstellen dieses Buches gefOrdert hat. Wei
terhin mochten wir uns bei Knut Moller, Wolfgang Eppler, Klaus-Robert Miiller,
Mathias Berning, Martin Riedmiller und Heinrich Braun bedanken, die eine Rei
he wertvoller Hinweise und Diskussionsbeitrage geliefert haben. Nicht zuletzt
gilt unser Dank auch S. Tolrnie, H. Tsrouya, F. Berns und M. Eberl, die bei der
Endfassung des Manuskripts behilflich waren.
Karlsruhe, April 1994 Karsten Berns, Thorsten Kolb
Inhaltsverzeichnis
Einleitung 1
1.1 Motivation 1
1.2 Biologische Grundlagen 3
1.3 Eigenschaften Konnektionistischer Systeme 5
2 Historischer Uberblick 9
3 Netztypen 15
3.1 Grundlagen konnektionistischer Modelle 15
3.2 Das Perzeptron 20
3.3 Backpropagation 23
3.4 Kohonennetze 28
3.5 Hopfieldnetze 31
3.6 Adaline und Madaline 34
3.7 Linearer Assoziierer 37
3.8 Brain-State-in-a-Box 38
3.9 Wettbewerbslemen (competitive learning) 39
3.10 Adaptive Resonance Theory 40
3.11 Weitere Modelle 43
4 Experimentelle Anwendungen in Forschung und Entwicklung 49
4.1 Visuelle Mustererkennung 50
4.2 Nichtvisuelle Mustererkennung 56
4.3 Analyse, Verrechnung verschiedenartiger Eingaben 62
4.4 Mustersynthese, Modellbildung, Vorhersage 69
4.5 Rekonstruktion, Konvertierung, Speicherung 78
4.6 Steuerung, Regelung 82
4.7 Planung, Optimierung 92
4.8 Vergleichende Arbeiten 102
5 Kommerzieller Einsatz 107
5.1 Industrielle Planung und Steuerung 108
5.2 Industrielle Fertigungsiiberwachung 109
5.3 Finanzwesen 111
viii Inhaltsverzeichnis
5.4 Telekommunikation 112
5.5 Medizin 113
5.6 Marketing 114
5.7 Offentlicher Dienst, Dienstleistungen 114
5.8 Verkehr 115
5.9 Produktkomponenten, Handel 116
5.10 Patente 117
6 Werkzeuge und Entwicklun~sumgebungen filr Neuronale Netze 119
6.1 Hardware 119
6.2 Software 124
6.3 Software und Hardware Produkte 133
7 Kurzinformationen 141
7.1 Einfiihrende Literatur 141
7.2 Zeitschriften und elektronische Medien 143
7.3 Konferenzen 147
7.4 Organisationen im Bereich Neuronale Netze 150
7.5 Forschungszentren in Deutschland 151
7.6 Forderungsmoglichkeiten und geforderte Projekte 153
8 Von der Planung zum Produkt 157
8.1 Problemcharakterisierung 159
8.2 Problemstrukturierung 160
8.3 Informationen fUr den LemprozeB 161
8.4 Wahl des Netztyps und des Lemverfahrens 162
8.5 Parameterbelegung 163
8.6 Verifikation der Netze 164
8.7 Aufbau einer Entwicklungsumgebung 165
8.8 Vorgehen wahrend TrainingITest 166
8.9 Fehlerursachen 167
8.10 Praxistest im konkreten Einsatz 167
8.11 Entwicklung eines Produkts 168
Literatur 171
Zitierte Literatur 172
Stichwortverzeichnis 199
Namensverzeichnis 203
1 Einleitung
1.1 Motivation
Weltweit arbeitet eine groBe Zahl von Wissenschaftlem an der Fragestellung:
'Wie ist es m6glich, mit Hilfe der Computertechnik eine Art Kiinstliche Intelli
genz zu schaffenT Seit den friihen sechziger lahren wurde mit sehr viel Euphorie
ein Weg eingeschlagen, bei dem versucht wurde, ausgehend von einer diskreten,
symbolischen Reprasentation der Welt, der Beschreibung der Zusarnrnenhange
zwischen Einzelinforrnationen und der Entwicklung geeigneter inferentieller Me
chanismen, kognitive Prozesse zu modellieren. Mit dieser Philosophie wurden
groBe Erfolge erzielt, wenn es beispielsweise darum ging, komplexes Experten
wissen maschinell aufzubereiten, auf hohem Niveau Schach zu spie1en, einfache
mathematische Theoreme zu beweisen oder Intelligenztests zu bearbeiten. Kogni
tive und sensorische Fiihigkeiten, die wir eher als niedrige Intelligenzleistung be
werten wiirden, wie z.B. schnelle visuelle Analyse einer Szene, Verstehen
gesprochener Sprache oder reaktive Bewegungssteuerungen von Manipulatoren
konnten mit diesen Methoden aber meist nur unzureichend ge16st werden.
Urn die Leistungsfahigkeit unseres Gehirns aufzuzeigen, werden im folgen
den einige Eigenschaften niiher beleuchtet. Unser Gehim hat die fundarnentale Ei
genschaft, daB es sich geanderten Situationen anpassen und Unbekanntes erlemen
kann. Es ist beeindruckend, mit welcher Leichtigkeit es fehlerhafte oder unvoll
standige Inforrnationen korrekt bearbeitet. So erkennen wir Gesichter uns vertrau
ter Personen, selbst wenn wir nur die Nase oder einen Teil der Augenpartie sehen.
Gerade unvollstandiges oder unscharfes Wissen bereitet den heute angewandten
heuristischen oder logikbasierten Verfahren der Kiinstlichen Intelligenz sehr gro
Be Schwierigkeiten.
Eine weitere beeindruckende Eigenschaft un seres Gehims ist die hohe Verar
beitungsgeschwindigkeit. Die irn Vergleich zu modemen Rechenelementen urn
den Faktor 105 bis 106 niedrigere Schaltzeit der Elementaroperatoren (Neuronen)
wird durch eine sehr hohe Parallelitat bei weitem ausgeglichen. Tabelle 1.1 ver
gleicht Rechenvorgange im Gehim mit denen heute eingesetzter Computer
2 1 Einleitung
Tabelle 1.1. Vergleich der Rechenvorgange im Gehim mit denen heute eingesetzter Com
puter.
Eigenscbaft Gebirn Computer
Parallelitat hoch niedrig
Prazision miiBig hoch
Fehlertoleranz hoch niedrig
Speicherzugriff global lokal
Erkennen von Mustem gut schlecht
Ausnutzen von Ahnlichkeiten ja nein
Numerisch prazise Berechnung schlecht gut
Fehlerloses Speichem von Daten schlecht gut
Rekonstruktion verrauschter Daten gut schlecht
Verallgemeinem von Beispielen gut schlecht
Selbstorganisation ja bisher nicht
Betrachtet man diese Liste von Eigenschaften unseres Gehims, so stellt sich so
fort die Frage: Kann man diese Leistung und diese Fahigkeiten iiberhaupt einmal
technisch realisieren? Geht man von Minskys These The Brain Happens to be a
Meat Machine aus, so miiBte es moglich sein, diese 'feuchte' Hardware nachzu
bauen oder zumindest ahnliche Strukturen zu schaffe n, die vergleichbare Lei
stung und Eigenschaften aufweisen. Der Forschungsbereich Konnektionistische
Systeme beschaftigt sich vor allem damit, wie man Modelle schaffe n kann, die
mit ahnlichen Arbeitsprinzipien diese Eigenschaften erzielen konnen. Die Hoff
nung, mit den hierbei entwickelten Verfahren ein kiinstliches Gehim nachbauen
zu konnen, ist beim derzeitigen Stand der Forschung reine Utopie.
Urn die in der Literatur oft unterschiedlich verwendeten Begriffe Konnektioni
stische Systeme und Neuronale Netze zu definieren, haben wir uns auf folgende
Begriffserklarungen festgelegt.
Konnektionismus: Forschungsrichtung, die sich mit hochparallelen
ProblemlOsungsprozessen mit Hiife von sehr einfach gehaltenen Einzel
elementen beschiiftigt.
Neuronales Netz: Konkrete Auspriigung eines hochparallelen Systems,
das sich an das biologische Vorbild biologisches Neuron, Nervensystem
1.2 Biologische Grundlagen 3
1.2 Biologiscbe Grundlagen
Die Frage, wie unser Gehirn wirklich funktioniert oder warum wir uns in unseren
kognitiven Fiihigkeiten von allen anderen Lebewesen so stark unterscheiden, in
teressiert die Menschheit nicht erst seit man versucht, intelligente Maschinen zu
bauen. Diese Frage wurde schon in friihester Zeit von Philosophen und Naturwis
senschaftlem gestellt.
Beispielsweise kam der griechische Arzt Hippokrates schon 500 v. Chr. zu der
Erkenntnis Mit dem Gehim denken wiT, nicht mit dem Herzen. Die Antike war al
lerdings gepdigt von den Vorstellungen Aristoteles, der glaubte, daB das Gehirn
nur zur Kiihlung des denkenden Herzens da sei. Erst 200 n. Chr. wurde die These
von Hippokrates durch den romischen Arzt Claudius Galenus bestatigt, der Expe
rimente an Gehirnen von Menschen durchftihrte. Nachdem es im Mittelalter zu
einem wissenschaftlichen Stillstand kam, verOffentlichte Descartes im Jahre 1637
das philosophisch bedeutende Werk Discours de la methode [Descartes 1637].
Hierin vertritt er die Ansicht, daB Tiere rein mechanische 'geistlose' Automaten
seien, deren Motorik man bald voll verstehen wiirde (siehe auch Kap. 2). In der
Folgezeit gab es weitere FortSchritte, begtinstigt durch die Erfindung technischer
Untersuchungsmethoden, wie etwa der Mikroskopie, der Zellfarbung oder der
Computertomographie. Dank dieser Methoden sind wir heute in der Lage, die Be
standteile und die Verarbeitungsmechanismen eines Neurons, des Grundbausteins
unseres Nervensystems sowie die elementare Informationsverarbeitung in einem
Gehirn recht genau zu besehreiben. Die nachfolgenden Erlauterungen zum Ner
vensystem sind an [Moller 1991] angelehnt.
Das Nervensystem besteht aus einer sehr groBen Anzahl von Nervenzellen,
den Neuronen. Sie bestehen aus dem Zellkorper (Soma), einem oder mehreren
Eingangen (Dendriten) und einem Ausgang (Axon), der am Ende aueh verzweigt
sein kann. An der Stelle, an der ein Axon auf die Zelloberftache eines Neurons
oder auf eine seiner Dendriten trifft, finden sich die Synapsen (siehe Abb. 1.1).
Hier werden iiber das Axon eintreffende Signale auf chemisehem (oder elektri
schem) Wege an das Neuron iibertragen.
Synapsen sind adaptiv, d.h. ihre Eigenschaften konnen dureh verschiedene au
Bere Einfliisse verandert werden. Deshalb wird ihnen eine entscheidende Rolle
bei allen Lemprozessen zugesehrieben. Eine biologisch plausible, aber noeh nieht
naehgewiesene Art der Modifikation ist die Hebb-Lemregel, naeh der Synapsen,
die gleichzeitig aktiv sind, starker miteinander gekoppelt werden. Uber den tat
saehlich verwendeten Lemalgorithmus liegen noch keine gesicherten Erkenntnis
se vor.
Aus der Sieht der Informationstechnik besitzt jedes Einzelneuron nur eine au
Berst primitive Funktion. Es summiert eintreffende Signale tiber den Ort des Ein
treffens und einen begrenzten Zeitbereich (Zeitfenster). Dieser Vorgang wird oft
als Ort-Zeit-Integration bezeichnet. Obwohl aIle Neuronen ein gemeinsames