Table Of ContentThe Lecture Notes are intended to report quickly and informally, but on a high level, new developments
in mathematical economics and operations research. In addition reports and descriptions of interesting
methods for practical application are particularly desirable. The following items are to be published:
1. Preliminary drafts of original papers and monographs
2. Special lectures on a new field, or a classical field from a new point of view
3. Seminar reports
4. Reports from meetings
Out of print manuscripts satisfYing the above characterization may also be considered, if they continue to
be in demand.
The timeliness of a manuscript is more important than its form, which may be unfinished and prelimi
nary. In certain instances, therefore, proofs may only be outlined, or results may be presented which have
been or will also be published elsewhere.
The publication of the "Lectun Notes" Series is intended as a service, in that a commercial publisher, Springer
Verlag, makes house publications of mathematical institutes available to mathematicians on an inter
national scale. By advertising them in scientific journals, listing them in catalogs, further by copyrighting
and by sending out review copies, an adeq uate documentation in scientific libraries is made possible.
Manuscripts
Since manuscripts will be reproduced photomechanically, they must be written in clean typewriting. Hand
written formulae are to be filled in with indelible black or red ink. Any corrections should be typed on a
separate sheet in the same size and spacing as the manuscript. All corresponding numerals in the text and
on the correction sheet should be marked in pencil. Springer-Verlag will then take care of inserting the
corrections in their proper places. Should a manuscript or parts thereof have to be retyped, an appro
priate indemnification will be paid to the author upon publication of his volume. The authors receive
25 free copies.
Manuscripts written in English, German, or French will be received by Prof. Dr. M. Beckmann, Depart
ment of Economics, Brown University, Providence, Rhode Island 02912/ USA, or Prof. Dr. H. P.
Kunzi, Institut fUr Operat~.ons Research und elektronische Datenverarbeitung der U niversitat Zurich,
Sumatrastra£e 30, 8006 Zurich.
Die Lecture Notes sollen rasch und inform ell, aber auf hohem Niveau, uber neue Entwicklungen der
mathematischen Okonometrie und Unternehmensforschung berichten, wobei insbesondere auch Berichte
'und Darstellungen der fUr die praktische Anwendung interessanten Methoden erwunscht sind. Zur
-Veroffentlichung kommen:
1. VorUiufige Fassungen von Originalarbeiten und Monographien.
2. Spezielle Vorlesungen uber ein neues Gebiet oder ein klassisches Gebiet in neuer Betrachtungsweise.
3. Seminarausarbeitungen.
4. Vortrage von Tagungen.
Ferner kommen auch altere vergriffene spezielle Vorlesungen, Seminare und Berichte in Frage, wenn nach
ihnen eine anhaltende Nachfrage besteht.
Die Beitrage durfen im Interesse einer gro~eren Aktualitat durchaus den Charakter des Unfertigen und
Vorlaufigen haben. Sie brauchen Beweise unter Umstanden nur zu skizzieren und durfen auch Ergebnisse
enthalten, die in ahnlicher Form schon erschienen sind oder spater erscheinen sollen.
Die Herausgabe der "Lecture Notes" Serie durch den Springer-Verlag stellt eine Dienstleistung an die
mathematischen Institute dar, indem der Springer-Verlag fUr ausreichende Lagerhaltung sorgt und einen
gro~en internationalen Kreis von Interessenten erfassen kann. Durch Anzeigen in Fachzeitschriften, Auf
nahme in Kataloge und durch Anmeldung zum Copyright sowie durch die Versendung von Be
sprechungsexemplaren wird eine lUckenlose Dokumentation in den wissenschaftlichen Bibliotheken
ermoglicht.
Lecture Notes in
Operations Research and
Mathematical Economics
Edited by M. Beckmann, Providence and H. P. KUnzi, ZUrich
9
Ernst Schultze
Universitat Bern
EinfUhrung in die
mathematischen Grundlagen
der In formationstheorie
1969
Springer-Verlag Berlin· Heidelberg· New York
Dr. E. Schultze
Privatdozent an der Universitat Bern,
Wissenschaftlicher Mitarbeiter
der Hasler AG Bern.
ISBN-13: 978-3-540-04633-2 e-ISBN-13: 978-3-642-86515-2
DOl: 10.1007/978-3-642-86515-2
All rights reserved. No part of this book may be translated or reproduced in any form without written permission from
Springer Verlag. © by Springer-Verlag Berlin' Heidelberg 1969
Library of Congress Catalog Card Number 79-79749 Title No.3759
v
0 R W0 R T
Der Inhalt der vorliegenden Schrift deckt sich mit der Vorlesung, die ich
1967/68 an der Universitat Bern gehalten habe. Sie verfolgte den Zweck,
sowohl Mathematikstudenten in die Informationstheorie einzufUhren, als auch
mathematisch interessierten Physikern, Ingenieuren und Unternehmens
forschern eine exakte Grundlage der lnformationstheorie zu vermitteln.
Dementsprechend wurde einer grUndlichen Darstellung der Beweise der Vor
zug gegeben. Leider musste der Stoff auf den diskreten Fall beschrankt
werden, doch glaube ich, dass demit schon die wesentlichsten Merkmale
der Informationstheorie erfasst werden.
An Voraussetzung wird die Kenntnis des Ublichen mathematischen Stoffes
mittlerer Hochschulsemester verlangt, einsch1iess1ich hauptsach1ich
e1ementarer Kenntnisse der Wahrscheinlichkeitsrechnung.
An dieser Stelle sei der Firma Hasler AG gedankt, welche in gros8zUgiger
Weise die Verfassung und Niederschrift der Vorlesung unterstUtzte.
Bern Ernst Schultze
Dezember 1968
Inhaltsverzeichnis
Einleitung 1
1. Die Entropie des endlichen Wahrscheinlichkeitsfeldes 3
1.1. Definition und Eigenschaften der Entropie 3
1.1.1. Die Ungewissheit 3
1.1. 2. Eigenschaften der Entropie 5
1.1.3. Beispiele 8
1.2. Entropie eines zusammengesetzten Wahrschein1ichkeitsfeldes.
Bedingte Entropie 11
1.2.1. Bezeichnungen 11
1. 2. 2. Unabhiingige Wahrsche inlichkeitsfelder 12
1.2.3. Abhiingige Wahrscheinlichkeitsfelder 13
1.2.4. Entropieungleichungen 16
1. 2. 5. Umkehrung der Abhiingigkeit 19
1.3. Die Synentropie zweier Wahrscheinlichkeitsfelder 21
1.3.1. Definition und Interpretation 21
1.3.2. Schranken 22
1.3.3. Beispiel und Aufgaben 24
1.4. Informationsgehalt 27
1.4.1. Informationsgehalt eines Wahrscheinlichkeitsfeldes 27
1.4.2. Informationsgehalt eines Elementarereignisses 28
1.4.3. Gegenseitiger Informationsgeha1t zweier E1ementar-
ereignisse 28
1.5. Eindeutigkeitssatz der Entropie 29
2. Die diskrete Informationsque11e und ihre Kodierung 34
2.1. Beschreibung 34
2.2. Diskrete Informationsque11e ohne Gedachtnis 36
2.2.1. Beschreibung 36
2.2.2. Kodierung
37
2.2.3. Eindeutige Dekodierbarkeit 38
2.2.4. Kodierbaum 39
2.2.5. Ungleichung von Kraft 40
2.2.6. Mitt1ere Kodewort1ange 46
2.2.7. Optimaler Kode 49
2.2.8. Konstruktion eines optimal en Kodes nacb Huffman 51
2.2.9. Kettcbenkodierung 5)
2.3. Informationsgebalt und Redundanz 58
2.4. Stationare diskrete Informationsquelle mit Gedacbtnis 60
2.4.1. Definition 60
2.4.2. Entropie der stationaren Informationsquelle 65
2.4.3. Informationsgebalt 70
2.5. Beispiel. diskreter Intormationsquellen 72
2.5.1. Allgemeine stationare Quelle 2. Ordnung mit
2 Symbolen 72
2.5.2. "Ktinstlicbe" Scbriftspracbe 76
2.5.3. Die natUrlicbe Schriftsprache 80
3. Diskreter Uebertragungskanal mit Storungen 81
3.1. EinfUhrung 81
3.2. Definition des diskreten stationaren Kanals 8)
3.3. Kanalkapazitat 87
3.3.1. Definition der Kanalkapazitat 87
3.3.2. Die Kapazitat des Kanals ohne Gedachtnis 90
3.3.3. Beispiele 9)
3.4. Fundamentalsatz der Informationstheorie 97
3.4.1. Entstorung durch den "idealen Beobachter" 97
3.4.2. Kodierer zwischen Quelle und Kanal 102
3.4.3. Formu1ierungdes Pundamentalsatzes 108
3.4.4. Asymptotische Vertei1ung der Kettchen 110
3.4.5. Heuristischer Beweis des Pundamenta1satzes 113
Literaturverzeichnia 116
- 1 -
Einleitung
Die Fragestellungen der Informationstheorieentstammen der Nachrichten
technik. Die heutige Nachrichtentechnik kennt die verschiedenartigsten
Uebertragungssysteme (Telefon, Fernschreiber, Radio, Fernsehen, usw.).
Sie haben aber aIle das folgende allgemeine Schema der Nachrichtentiber
tragung gemeinsam:
Nachrlcht.n- Kodleruno Ueb.rtraounOI- r-- O.kodl.runo Nachricht.n-
bzw. bzw.
quell. kanal s.nk.
~odulation O• •o dulatlon
Storunoen
I.B.
Rausch.n
Dieses Schema widerspiegelt die yom Standpunkt der Theorie her wesent
lichen Bestandteile einer Nachrichtentibertragung. Es bildet den Rahmen der
Informationstheorie im engeren Sinne, d.h. der Theorie der Uebertragung
von Nachrichten. Zu dieser Theorie gehort vor allem die Aufgabe, das
Wesen der Information zu klaren und die Information quantitativ zu er
fassen, um damit eine mathematische Behandlung des obigen Schemas zu
ermoglichen. Erste Versuche in dieser Richtung wurden von
Hartley 1928
unternommen. Von einer eigentlichen Theorie der Nachrichtentibertragung
kann jedoch erst .ait dem Erscheinen der Arbeiten von
Shannon 1948
gesprochen werden. Shannon gilt als der eigentliche Begrtinder der
Intormationstheorie.
Der Grundgedanke der Informationstheorie beruht auf dem Zusammenhang
zwischen Information und Wahrscheinlichkeit: So, wie in der Wahrschein
lichkeitsrechnung vor der Durchttihrung eines Versuchs Ungewissheit
dartiber besteht, welches Ereignis eintreten wird,so ist auch der
- 2 -
Nachrichtenempfanger in Ungewissheit liber die Nachricht, die ein
treffen wird. Dieser Zusammenhang gestattet es, die Erzeugung von
Information in einer Nachrichtenquelle flir einen Nachrichtenempfanger
als einen zufalligen Prozess aufzufassen.
Die Auffassung der Nachrichtenquelle ale zufalliger Prozess ist wohl
der wesentlichste Ausgangspunkt flir die Informationstheorie, sie er
moglicht insbesondere die mathematische Behandlung der Nachrichtenliber
tragung.
- :3 -
1. Die Entropie des endlichen Wahrscheinlichkeitsfe1des
1.1. Detinition und Eigenachaften der Entropie
1.1.1. Die Ungewissheit
Vie schon erwKhnt, kann man die Ungewissheit, die der EmpfKnger vor dem
Eintretfen der Nachricht verBpUrt, vergleichen mit der Ungewissheit,
die vor der DurchfUhrung eines Experimentes besteht, dessen Ausgang
durch ein Zufa11sgesetz bestimmt wird. Wir nehmen zunKchst ein ganz
eintaches Experiment vor, etwa das VUrfeln mit einem gewHhn1ichen
Spie1wUrfel. Bei diesem Versuch sind genau sechs Ergebnisse mijglich,
entsprechend den 6 mHglichen Augenzahlen. Jedem dieser secha Ergebnisse
ist eine bestimmte Wahrschein1ichkeit zugeordnet. Beim normalen VUrfel
sind aIle sechs Ergebnisse gleich wahrschein1ich, also besitzt jedes die
Vahrschein1ichkeit 1/6
Augenzahl: 1 2 3 4 5 6
Vahrschein1ichkeit: 1/6 1/6 1/6 1/6 1/6 1/6
Neben diesem normalen VUrfel betrachten wir nun aber noch einen andern,
weniger normalen VUrfel, dessen Augenzah1en nicht aIle diese1be Wahr
scheinlichkeit besitzen, z.B. :
Augenzah1: 1 2 3 4 5 6
Yahrscheinliehkeit: 1/9 1/9 1/9 1/6 1/6 1/3
Obwohl fUr beide YUrtel die Yahrscheinliehkeiten angegeben sind, ist das
YUrtein nieht beide Male gleich interessante Beim normalen YUrfei haben
wir grundsKtzlich keine Abnung, welche Augenzahl sieh ergeben wird, da aIle
seehs Ergebnisse gieich wahrscheinlich sind. Beim getKlschten YUrtei
dagegen kHnnen wir von vornherein viel eher mit einer grossen Augenzahl
rechnen a1s mit einer k1einen. Mit andern Yorten: Beim ersten YUrfe1
herrscht vor dem Vurf eine grijssere Ungewissheit Uber den Ausgang des
Versuches als beim zweiten.
- 4 -
Nehmen wir anstelle der Experimente mit dem SpielwUrtel ein allgemeines
endliches Wahrscheinlichkeitsteld (abgekUrzt: wp)
Al bis An bezeichnen die Elementarereignisse des ~ und PI bis Pn die
=
Wahrscheinlichkeiten der Elementarereignisse, p. 1.
mit'~l
1- 1
Viederum besteht vor der Durchftihrung eines Versuches Ungewissheit
darUber, welches der n Elementarereignisse eintreten wird, und wiederum
hangt die Hohe der Ungewissheit ab von den Vahrscheinlichkeiten PI
bis P • Besonders krass kommt dies etwa beim Vergleich der tolgenden
n
beiden WP zum Ausdruck
und !13- = ( Al
0,99
Beim WP ~ ist die Ungewissheit otfensichtlich viel kleiner als beim
WFOL.
Es ist nun bestimmt wUnschenswert, aine mathematische Grijsse einzutUhren,
welche die mit einem endlichen Wahrscheinlichkeitsteld verbundene Un
gewissheit auf verntinftige Weise misst. Shannon schlug fUr die Ungewiss-
heit eine in der Physik bekannte Formel vor: Die Entropie.
Die Ungewissheit wird wie folgt als Entropie des WP detiniert:
~
- t
H (Of.) = p. log p.
i=1 1 1
Tatsichlich hat diese Grosse die oder weniger das zu
Eigenschatt~mehr
liefern, was man von einer Grosse zur Messung der mit einem Versuch
verbundenen Ungewissheit verlangen wird, wie wir bald sehen werden.
