Praktikum Neuronale Netze

250 Pages·1996·5.226 MB·German

by  Heinrich Braun, Johannes Feulner, Rainer Malaka (auth.)

Springer-Lehrbuch
Springer-Verlag Berlin Heidelberg GmbH
Heinrich Braun· Jo hannes Feulner
Rainer Malaka
Praktikum
Neuronale Netze
Mit 34 Abbildungen und 1 Diskette
Springer
Heinrich Braun
Johannes Feulner
Rainer Malaka
Institut für Logik, Komplexität und Deduktionssysteme
Universität Karlsruhe
Postfach 6980, D-76128 Karlsruhe
Computing Reviews Classification (1991): E1.1, C.1.3, 1.2.6
Additional material to this book can be downloaded from http://extras.springer.com
Die Deutsche Bibliothek - CIP-Einheitsaufnahme
Praktikum neuronale Netze I Heinrich Braun; Johannes Feulner; Rainer Malaka. - Berlin; Heidel
berg; New York; Barcelona; Budapest; Hongkong; London; Paris; Santa Clara; Singapur; Tokio:
Springer.
(Springer-Lehrbuch)
NE: Braun, Heinrich; Feulner, Johannes; Malaka, Rainer
Buch.-1996
Diskette. -1996
Systemvoraussetzungen: DOS-PC, 386er Prozessor, 4 MB Haupt-und 2 MB Speicher auf Festplatte
ISBN 978-3-540-60030-5 ISBN 978-3-642-61000-4 (eBook)
DOI 10.1007/978-3-642-61000-4
Dieses Werk ist urheberrechtlich geschützt. Die dadurch begründeten Rechte, insbesondere die
der übersetzung, des Nachdrucks, des Vortrags, der Entnahme von Abbildungen und Tabellen, der
Funksendung, der Mikroverfilmung oder der Vervielfaltigung auf anderen Wegen und der Spei
cherung in Datenverarbeitungsanlagen, bleiben, auch bei nur auszugsweiser Verwertung, vorbe
halten. Eine Vervielfaltigung dieses Werkes oder von Teilen dieses Werkes ist auch im Einzelfall
nur in den Grenzen der gesetzlichen Bestimmungen des Urheberrechtsgesetzes der Bundesrepu
blik Deutschland vom 9. September 1965 in der jeweils geltenden Fassung zulässig. Sie ist
grundsätzlich vergütungspflichtig. Zuwiderhandlungen unterliegen den Strafbestimmungen des
Urheberrechtsgesetzes.
© Springer-Verlag Berlin Heidelberg 1996
Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk
berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, daß solche Namen im
Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher
von jedermann benutzt werden dürften.
Der Springer-Verlag Ist nicht Urheber der Beispielprogramme, sondern stellt diese nur zur Verfü
gung. Der Verlag und die Autoren übernehmen weder Garantie noch Verantwortung dafür, daß die
Software fehlerfrei ist.
Umschlaggestaltung: Meta Design, Berlin
Satz: Datenkonvertierung Fa. Teichmann, Meckesheim
SPIN: 10503165 45/3142 -5 43 2 1 0 -Gedruckt auf säurefreiem Papier
Vorwort
Dieses Buch ist eine rechnerunterstützte Einführung in das Gebiet der neuronalen Netze.
Mit Hilfe einer komfortablen Simulationsumgebung wird die Dynamik der Berechnungs
und Lernvorgänge sehr anschaulich demonstriert.
Buch und Software vermitteln dem Leser!der Leserin so eine breite Wissensbasis, die
auch als Grundlage für eigene Forschungen geeignet ist. Die zusätzliche Lektüre eines
Theoriebuches, z.B. der im gleichen Verlag erschienenen "Theorie der neuronalen Netze"
von Raul Rojas, kann dabei nützlich sein, ist aber nicht unbed~ngt Voraussetzung.
Das Buch gliedert sich in zwei Teile. Im ersten Teil werden vorwärtspropagierende
Netzmodelle (Perzeptron, Assoziativspeicher, Klassifikatoren, Backpropagation 1111) be
handelt und im zweiten Teil die rückgekoppelten Netzwerke (Hopfieldnetz, asymmetri
sches Hopfieldnetz, stochastische Netze, Optimieren mit neuronalen Netzen, Interactive
Activation and Competition). Dabei beginnen wir jeweils mit dem einfachsten Modell
(Perzeptron bzw. Hopfieldnetz) und präsentieren darauf aufbauend die anderen Modelle.
Die einzelnen Kapitel gliedern sich jeweils in vier Teile. Im Theorieteil wird das be
handelte Modell eingeführt und unter allen wichtigen Aspekten diskutiert. Das genaue
Durcharbeiten dieses Teils ist für das Verständnis der in den Versuchen gezeigten Effekte
notwendig. Die im Text eingefügten Aufgaben dienen zur Kontrolle des Verständnisses.
Für alle Aufgaben sind ausführliche Lösungen vorhanden, mit deren Hilfe sich der Leser!
die Leserin das Verständnis erarbeiten kann.
Im zweiten Teil wird die Versuchsumgebung beschrieben, und alle wichtigen Befehle
werden tabellarisch erläutert. Um die Bedienung zu erleichtern, wurde die Be
dienoberfläche möglichst kompakt und übersichtlich gestaltet, indem die Umgebung
speziell auf das jeweilige Modell zugeschnitten wurde; außerdem wurde die Oberfläche
für alle Modelle dadurch möglichst ähnlich gehalten, daß Operationen mit ähnlicher Be
deutung bei allen Modellen gleich zu bedienen sind.
Im Versuchsteil werden dann die einzelnen Eigenschaften des Modells ausführlich
untersucht. Zu den einzelnen Modellpararnetern gibt es jeweils Versuche, die ihre Eigen
schaften veranschaulichen. Außerdem soll anhand ausgewählter Benchmark-Probleme
ein intuitives Verständnis vermittelt werden, für welche Probleme ein Modell sich eignet
und für welche nicht. Beispielsweise eignen sich Hopfieldnetze für das Speichern von
Zufallsbildern. Wir zeigen hierzu, wie zufällig diese Bilder sein müssen, d.h. ob dabei
jedes einzelne Pixel zufällig gezogen werden muß oder ob sich eine zufällig zusammen
gestellte Menge von Bildern, z.B. ein paar Ziffern oder Buchstaben, ebenfalls gut abspei
chern läßt. Um die Leistungsfähigkeit der Modelle untereinander vergleichen zu können,
werden bei verschiedenen Modellen möglichst die gleichen oder vergleichbare
Benchmark-Probleme untersucht. So wurde beispielsweise das Traveling-Salesman-
VI Vorwort
Problem mit dem Kohonen-Netz, dem Hopfield-Netz und dem Hopfield-Tank-Netz mo
delliert (auf die Modellierung mit der stochastischen Variante des Hopfield-Netzes, der
Boltzmann-Maschine, wurde auf Grund der hohen Rechenzeit verzichtet).
Im Lösungsteil werden schließlich Lösungen für die Aufgaben angegeben und alle
Versuchsergebnisse ausführlich diskutiert. Es wird jedoch dringend davon abgeraten, das
Buch nur im "Trockenkurs" zu verwenden und anstatt eigener Versuche einfach die
Musterlösung nachzuschlagen. Für ein tieferes Verständnis ist das Beobachten der Netz
dynamik unbedingt erforderlich. Gerade darin liegt ja der Vorteil dieses Praktikums, daß
man z.B. den zeitlichen Ablauf eines Lemvorgangs, der Selbstorganisation der
Merkmalskarte eines Kohonen-Netzes oder der Relaxation eines rückgekoppelten Netzes
in Abhängigkeit von den Modellparametern, beobachten kann.
Perzeptron
Assoziatoren Klassifikatoren Backpropagation I
Hopfield-Netz Backpropagation 11
Asymmetrisches stochastische Optimieren mit NN
Hopfield-Netz Netze
~
Interactive Activation
and Competition
Abb.l Inhaltliche Abhängigkeiten der Kapitel
Die einzelnen Kapitel sind so gehalten, daß jedes für sich isoliert bearbeitet werden
kann. Damit kann sich der Leser/die Leserin auf die Modelle konzentrieren, die ihn/sie
interessieren, und muß nicht das gesamte Buch durcharbeiten. Querverweise ver
deutlichen jedoch den Zusammenhang der Modelle untereinander. Abbildung 1 gibt eine
Übersicht darüber, in welcher Reihenfolge die Kapitel durchgearbeitet werden können.
Das vorliegende Buch und die Programme sind im Rahmen eines Praktikums an der
Universität Karlsruhe entstanden, das die Autoren seit 1991 jedes Semester veranstalten.
Das Buchkonzept ist insofern innovativ, als es über das rezeptive Verständnis des Lehr-
Vorwort VII
stoffs im Textteil hinaus mit Hilfe einer multimedialen Programmoberfläche ein aktives
Erfahren und Begreifen der Modelleigenschaften neuronaler Netze ermöglicht.
Unser Dank geht zunächst an alle Studierenden, die durch Kritik und Anregungen zur
stetigen Verbesserung beigetragen haben. Danken möchten wir auch allen Kollegen, die
an der Entstehung dieses Buches mitgewirkt haben: Dr. Frank Stephan, Dr. Klaus Müller,
Michael Finke und Hans Lawitzke lieferten Beiträge und Anregungen zu den Versuchen,
Thomas Ragg entwarf die grafische Oberfläche und bewältigte die Portierung in den PC
Bereich. Unser besonderer Dank gilt Herrn Professor Dr. Wolfram Menzel, ohne dessen
großzügige Unterstützung dieses Buch gar nicht möglich gewesen wäre. Dem Springer
Verlag, besonders Frau Barbara Gängler, Frau Ulrike Stricker und Herrn Dr. Hans
Wössner, danken wir für die tatkräftige Unterstützung.
Karlsruhe, November 1995 Heinrich Braun
Johannes Feulner
Rainer Malaka
Hinweise zur Software-Installation
Die beiliegende Diskette mit der Praktikumssoftware ist lauffähig auf einem DOS-PC ab
Windows 3.1. Benötigt wird mindestens ein 386er Prozessor, 4 MB Haupt- und 2 MB
Speicher auf Festplatte. So installieren Sie die Software auf Ihrem Computer:
1. Starten Sie Windows.
2. Legen Sie die Diskette in das Disketten-Laufwerk ein.
3. Wählen Sie im Windows-Programmanager aus dem Menü Datei den Befehl Aus
rühren.
4. Geben Sie im Feld "Befeh1szeile" die Laufwerksbezeichnung des Laufwerks, das
die Diskette enthält, und anschließend einen Doppelpunkt, einen umgekehrten
Schrägstrich sowie das Wort INSTALL ein, Z.B. A:\INSTALL
5. Befolgen Sie die Anweisungen auf dem Bildschirm.
Das Programmpaket ist auch unter UNIX verfügbar und kann vom ftp-Server
illftp.ira.uka.de (129.13.33.16) aus dem Verzeichnis pub/n-prakt abgerufen werden.
Voraussetzungen sind UNIX V.4 und X-Windows (X11R5, mit X-View). Im selben Ver
zeichnis befindet sich auch eine aktuelle Programmversion für den DOS-PC.
Inhaltsverzeichnis
Kapitell. EiIütihrung
1 Neuronale Netze..... ........... ........ ......... ......... .......... ......... .......... ........... ......... ..... 1
2 Aufbau des Buches ............................................................................................ 4
Kapitel 2. Das Perzeptron
1 Einführung...... ........... .......... .................... ....... ........... .......... .......... .......... ......... 7
2 Lernregeln für das Perzeptron ........................................................................... 11
3 Versuchsumgebung ........................................................................................... 14
4 Versuche ............................................................................................................ 16
5 Lösungen ........................................................................................................... 20
Kapitel 3. Assoziative Speicher - Palm-Netze
1 Einführung ........................................................................................................ 25
2 Funktionsweise des Palm-und Hebb-Netzes .................................................... 27
3 Autoassoziation ................................................................................................. 31
4 Ordnungsparameter "Überlapp" ........................................................................ 33
5 Versuchsumgebung ........................................................................................... 34
6 Versuche ............................................................................................................ 35
7 Lösungen ........................................................................................................... 43
Kapitel 4. Klassifikatoren
1 Einführung ........................................................................................................ 55
2 Adaptive-Resonanz-Theorie ............................................................................. 56
3 Versuchsumgebung für ART ............................................................................. 59
4 Se1bstorganisierende Karten (Kohonen-Netz) ................................................... 61
5 Versuchsumgebung für Kohonen-Netze ............................................................ 65
6 Versuche ............................................................................................................ 67
7 Lösungen ........................................................................................................... 72
Kapitel 5. Backpropagation I
1 Einführung ........................................................................................................ 81
2 Das Backpropagation-Modell ........................................................................... 81
3 Versuchsumgebung ........................................................................................... 88
X Inhaltsverzeichnis
4 Versuche ............................................................................................................ 90
5 Anhang: Die Graphen der Aktivierungsfunktionen und ihrer Ableitungen ...... 96
6 Lösungen ............................................................................................................ 97
Kapitel 6. Backpropagation 11
I Einführung...................................................................................................... 103
2 Weitere Eigenschaften von Backpropagation ................................................. 104
3 Das Mühlespiel ............................................................................................... 107
4 Versuchsumgebung ......................................................................................... 111
5 Versuche.......................................................................................................... 114
6 Anhang ............................................................................................................ 120
7 Lösungen......................................................................................................... 123
Kapitel 7. Das symmetrische Hopfield-Modell
1 Einführung...................................................................................................... 127
2 Das Hopfie1d-Netz als Autoassoziativspeicher ............................................... 128
3 Versuchsumgebung ........................................................................................ 140
4 Versuche .. , .......... .......... .......... .................... ........... ........... .......... ..................... 142
5 Lösungen......................................................................................................... 148
Kapitel 8. Asymmetrische Netze
Einführung ...................................................................................................... 155
2 Die Modelle .................................................................................................... 156
3 Versuchsumgebung ........................................................................................ 159
4 Versuche...................................................................................... ............. ....... 161
5 Lösungen......................................................................................................... 165
Kapitel 9. Stochastische Netze
1 Einführung...................................................................................................... 171
2 Stochastische Dynamik ............... ................................. .......... ........................ 171
3 Hopfield-Netz mit Temperatur ....................................................................... 175
4 Simulated Annealing ................. .......... .......... .......... .......... ............ .......... ....... 177
5 Boltzmann-Maschine ..................................................................................... 178
6 Versuchsumgebung ......................................................................................... 182
7 Versuche.......................................................................................................... 184
8 Lösungen......................................................................................................... 189
Kapitel 10. Optimieren mit neuronalen Netzen
Einführung ...................................................................................................... 197
2 Neuronale Netze zur Lösungen von Optimierungsproblemen ....................... 197
3 Versuchsumgebung ................................. ....................................................... 207
4 Versuche....................................................................................... ............ ....... 209
5 Lösungen............................................................. ............................................ 213