Table Of ContentDetlef Nautk
Frank Klawonn
Rudolf Kruse
Neuronale Netze
und Fuzzy·Systeme
Computational Intelligence
herausgegeben von
Wolfgang Bibel, Walther von Hahn und Rudolf Kruse
Die Bucher in dieser Reihe behandeln Themen, die sich dem weitgesteckten Ziel des
VersUindnisses und der technischen Realisierung intelligenten Verhaltens in einer
Umwelt zuordnen lassen. Sie sollen damit Wissen aus der Kunstlichen Intelligenz und
der Kognitionswissenschaft (beide zusammen auch Intellektik genannt) sowie aus
interdisziplinar mit diesen verbundenen Disziplinen vermitteln. Computational
Inteligence umfal3t die Grundlagen ebenso wie die Anwendungen.
Die ersten TItel der Reihe sind:
Das Rechnende Gehim
Grundlagen zur Neuroinformatik und Neurobiologie
von Patricia S. Churchland und Terrence J. Sejnowski
Neuronale Netze und Fuzzy-Systeme
Grundlagen des Konnektionismus, Neuronaler Fuzzy-Systeme und
der Kombination mit wissensbasierten Methoden
von Detlef Nauck, Frank K.lawonn und Rufold Kruse
Titel aus dem weiteren Umfeld,
erschienen in der Reihe Kiinstliche Intelligenz des Verlages Vieweg:
Automatische Spracherkennung
von Ernst Gunter Schukat-Talamazzini
Deduktive Datenbanken
von Armin B. Cremers, Ulrike Griefahn und Ralf Hinze
Wissensreprasentation und Inferenz
von Wolfgang Bibel, Steffen Holldobler und Torsten Schaub
Detlef Nauck
Frank Klawonn
Rudolf Kruse
Neuronale Netze
und Fuzzy-Systeme
Grundlagen des Konnektionismus,
N euronaler Fuzzy-Systeme und
der Kopplung mit wissensbasierten Methoden
2., iiberarbeitete und erweiterte Auflage
1. Auflage 1994
(erschienen in der Reihe "Kiinstliche Intelligenz" desselben Verlages, ISSN 0940-0699)
2., liberarbeitete und erweiterte Auflage 1996
Aile Rechte vorbehalten
© Springer Fachmedien Wiesbaden 1996
UrsprUnglich erschienen bei Friedr. Vieweg & Sohn Verlagsgesellschaft mbH, BraunschweigIWiesbaden,
1996.
Das Werk einschlieBlich aller seiner Teile ist urheberrechtlich geschlitzt. Jede
Verwertung auBerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne
Zustimmung des Verlags unzulassig und strafbar. Das gilt insbesondere fUr
Vervielfliltigungen, Ubersetzungen, Mikroverfilmungen und die Einspeicherung
und Verarbeitung in elektronischen Systemen.
Gedruckt auf saurefreiem Papier
ISBN 978-3-528-15265-9 ISBN 978-3-663-10898-6 (eBook)
DOI 10.1007/978-3-663-10898-6
Vorwort zur zweiten Auflage
Neuronale Netze erfreuen sich einer wachsenden Popularitat, die sich in einer Viel
zahl von Veroffentlichungen und industriellen Anwendungen ausdriickt. Ihre Fahig
keit, aus Beispielen lernen zu konnen, ohne im herkommlithen Sinne programmiert
werden zu miissen, macht einen wesentlichen Teil ihrer Faszination aus. Die Arbeit
an Neuronalen Netzen, die auch als "konnektionistische Systeme" bezeichnet wer
den, war zunachst biologisch motiviert. Die Forscher wollten an ihnen mehr uber
Eigenschaften des Gehirns lernen. Das erste lernfahige kiinstliche Neuronale Netz,
das Perceptron, wurde 1958 von Frank Rosenblatt vorgestellt. Nachdem jedoch in
den sechziger Jahren gezeigt wurde, daB dieses damals bevorzugt untersuchte Per
ceptron sogenannte linear nicht separierbare Probleme nicht losen konnte, wurde die
Forschung an Neuronalen Netzen einige Jahre lang sehr stark eingeschrankt.
Nach der Entdeckung neuer und machtiger Lernverfahren in den achtziger Jahren
lebte das Interesse jedoch wieder auf. Nun war man in der Lage, auch nicht linear
separierbare Probleme, wie z.B. die XOR-Funktion, von einem Neuronalen Netz losen
zu lassen. Die Industrie hat die Neuronalen Netze fUr sich entdeckt und wendet sie in
Bereichen wie z.B. Bildverarbeitung, Schrift- und Spracherkennung an. Es gibt be
reits eine Vielzahl kommerzieller und frei verfugbarer Entwicklungsumgebungen, die
eine Erstellung eines Neuronalen Netzes am Computer ermoglichen und die Entwick
lungen von Anwendungen erleichtern. Selbst "Neuronale Hardware" ist mittlerweile
entwickelt worden. Dabei handelt es sich urn Zusatzhardware fur Computersysteme
zur Unterstiitzung der Rechenvorgange in Neuronalen Netzen.
Die Forschung an kiinstlichen Neuronalen Netzen, d.h. an yom Computer simulier
ten Neuronalen Netzen, ist ein hochgradig interdisziplinares Gebiet. Biologen und
Neurophysiologen untersuchen sie, urn mehr iiber biologische Neuronale Netze, also
den Aufbau und die Funktionsweise von Gehirnen zu erfahren. Psychologen bzw.
Kognitionswissenschaftler befassen sich mit ihnen, urn menschliche Verhaltensweisen
z.B. kognitive Leistungen zu simulieren. Mathematiker, Ingenieure und Informatiker
verwenden sie zur Datenanalyse, zur Regelung und Steuerung und untersuchen sie
als parallele informationsverarbeitende Modelle. Die Grenzen zwischen diesen Berei
chen sind flieBend und gerade zwischen den beiden letztgenannten Gebieten bestehen
starke Uberschneidungen.
VI
Dem Vorteil der Lernfiihigkeit Neuronaler Netze gegeniiber herkommlichen Verfah
ren der Informationsverarbeitung steht jedoch ein Nachteil entgegen: Neuronale Netze
konnen nicht interpretiert werden, sie stellen sich dem Entwickler und dem Anwen
der als eine "Black Box" dar. Das in ihnen enthaltene "Programm" oder "Wissen"
entzieht sich einer formalen Untersuchung, wodurch die Verifikation eines Neuronalen
Netzes unmoglich wird.
Neben ihrer Fiihigkeit des Lernens sind Neuronale Netze in der Lage, mit unvollstiindi
gen, gestorten oder ungenauen Eingaben zu arbeiten und dennoch eine akzeptable
Ausgabe zu produzieren. Sie sind von daher fUr den Bereich des "Soft-Computing"
von Interesse. Mit Soft-Computing werden wissensbasierte Techniken bezeichnet, die
in der Lage sind, mit unsicheren und impriizisen Daten zu arbeiten. Auf diese Weise
konnen sie zu Ergebnissen gelangen, wenn andere herkommliche, meist logikbasierte
KI-Ansiitze versagen, die auf "scharfe" (engl. crisp), d.h. exakte Daten angewiesen
sind. Zu dem Bereich des Soft-Computing werden neb en Neuronalen Netzen auch
Fuzzy-Systeme und probabilistische Verfahren (z.B. Bayessche Netze) geziihlt.
Die Themenauswahl in diesem Buch konzentriert sich zuniichst auf die Darstellung der
fiir Neuronale Netze notwendigen Grundlagen und die Vorstellung einiger wichtiger
Neuronaler Architekturen und Lernverfahren. In der vorliegenden zweiten Auflage
haben wir ein Kapitel iiber Radiale-Basisfunktionen-Netze eingefiigt. Dabei handelt
es sich um ein Netzwerkmodell, das neben den Multilayer-Perceptrons fUr industrielle
Anwendungen von besonders hoher Bedeutung ist.
Gegeniiber anderen Lehrbiichern iiber Neuronale Netze ist hervorzuheben, dail wir
insbesondere Kopplungsmoglichkeiten konnektionistischer Modelle mit anderen wis
sensbasierten Methoden untersuchen. Als Resultate der Integration werden die kon
nektionistischen Expertensysteme und die Neuronalen Fuzzy-Systeme diskutiert.
Man erhofft sich durch diese Kopplung lernfiihige und dennoch interpretierbare wis
sensbasierte Systeme. Wiihrend konnektionistische Expertensysteme sich noch in
einer konzeptionellen Phase befinden, trifft man die NeuronalenFuzzy-Systeme be
reits in zahlreichen industriellen Anwendungen an. Wir haben deshalb in der zweiten
Auflage ein umfangreiches Kapitel iiber Neuro-Fuzzy-Datenanalyse hinzugefUgt.
Wesentliche Teile diese Buches basieren auf Vorlesungen, Arbeitsgemeinschaften und
Seminaren, die von den Autoren an der Technischen Universitiit Braunschweig gehal
ten wurden. Einige Ergebnisse unserer aktuellen Forschungsarbeiten sind ebenfalls
eingeflossen. Wir wenden uns mit diesem Buch an Forscher und Anwender aus dem
Bereich der Kiinstlichen Intelligenz sowie an Studierende der Informatik und angren
zender Gebiete. Das Buch ist in sich abgeschlossen, so daB keine Vorkenntnisse iiber
Neuronale Netze, Fuzzy-Systeme oder Expertensysteme notwendig sind.
Die vorliegende zweite Auflage ist eine Uberarbeitung und Verbesserung der 1994
erschienenen Erstauflage. Der Text wurde mehrfach in Vorlesungen und Schulungen
eingesetzt und hat dabei von zahlreichen Anregungen aus dem Kreise der Studenten,
Kollegen sowie den Teilnehmern der industriellen Tutorien profitiert.
VB
Fiir die Unterstiitzung bei der Entstehung des Buches bedanken wir uns bei Hermann
Josef Diekgerdes, Patrik Eklund, Steffen Forster, Jorg Gebhardt, Ingrid Gerdes,
Michael Kruse, Joachim Nauck, Ulrike Nauck, Uwe Neuhaus und Thomas Scholz.
Hartmut Wolff danken wir fiir die fachliche Unterstiitzung in diversen Projekten
zum Thema Fuzzy-Systeme. Bei dem Vieweg-Verlag, insbesondere bei Dr. Rainer
Klockenbusch, bedanken wir uns fiir die uns entgegengebrachte Geduld und die gute
Zusammenarbeit.
Braunschweig, im Januar 1996 Die Autoren
Inhaltsverzeichnis
Einleitung 1
I Grundlagen Neuronaler Netze 9
1 Historische und Biologische Aspekte 11
2 Ein generisches Modell fiir Neuronale Netze 19
2.1 Die Struktur Neuronaler Netze ... 19
2.2 Die Arbeitsweise Neuronaler Netze 24
2.3 Strukturveranderung - Lernen . . 28
2.4 Lernparadigmen. . . . . . . . . . 34
II Architekturen Neuronaler Netze 37
3 Perceptrons 39
3.1 Das formale Modell des Perceptrons . 41
3.2 Lineare Separabilitat . . . . . . . . . 46
3.3 Der Lernalgorithmus des Perceptrons 49
4 Einfache lineare Modelle 59
4.1 Das formale Modell Linearer Neuronaler Netze . 60
4.2 Das ADALINE und die Delta-Regel. . . . . . 62
4.3 Matrixspeicher und die Hebbsche Lernregel .. 67
x Inhaltsverzeichnis
5 Multilayer-Perceptrons 71
5.1 Das formale Modell des Multilayer-Perceptrons 72
5.2 Backpropagation - Die verallgemeinerte Delta-Regel 74
5.3 Anwendung des Backpropagation-Algorithmus . 78
5.4 Linear nicht-separable Lernaufgaben . . . . . . 81
5.5 Multilayer-Perceptrons als universelle Approximatoren 88
5.6 Anwendungen....................... 92
6 Radiale Basisfunktionen 97
6.1 Lokale versus globale Klassifikation 97
6.2 Das formale Modell Radialer-Basisfunktionen-Netze 101
6.3 Lernverfahren fur RBF-Netze . . . . . . . . . . . . 108
7 Wettbewerbslernen 117
8 Selbstorganisierende Karten 125
8.1 Das formale Modell . . . . . . . . . . . . . . 126
8.2 Anwendungen selbstorganisierender Karten . 129
8.3 Counterpropagation:............. 134
9 Hopfield-Netze 137
9.1 Das formale Modell des Hopfield-Netzes 138
9.2 Die Energiefunktion eines Hopfield-Netzes 140
9.3 Das Hopfield-Netz als autoassoziativer Speicher 142
9.4 Die Losung von Optimierungsproblemen mit Hopfield-Netzen 147
9.5 Das kontinuierliche Hopfield-Modell. . . . . . . . . . . . . . . 154
10 Simulated Annealing und Boltzmann-Maschinen 159
10.1 Simulated Annealing . 159
10.2 Boltzmann-Maschinen 161
11 Neuronale Regier 169
