Table Of ContentHerbert Klimant, Rudi Piotraschke, Dagmar Schönfeld
Informations- und Kodierungstheorie
Herbert Klimant, Rudi Piotraschke,
Dagmar Schönfeld
Informations- und
Kodierungstheorie
2., überarbeitete und erweiterte Auflage
llil
Teubner
Springer Fachmedien Wiesbaden GmbH
Bibliografische Information der Deutschen Bibliothek
Die Deutsche Bibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliographie;
detaillierte bibliografische Daten sind im Internet über <http://dnb.ddb.de> abrufbar.
1. Auflage 1996
2., überarb. u.e rw. Auflage März 2003
Alle Rechte vorbehalten
© Springer Fachmedien Wiesbaden 2003
Ursprünglich erschienen bei B. G. Teubner GmbH, Stuttgart/Leipzig/Wiesbaden, 2003
www.t eubner.de
Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung
außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Ver
lags unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzun
gen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen
Systemen.
Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk
berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne
der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von
jedermann benutzt werden dürften.
Umschlaggestaltung: Ulrike Weigel, www.CorporateDesignGroup.de
ISBN 978-3-519-23003-8 ISBN 978-3-663-10347-9 (eBook)
DOI 10.1007/978-3-663-10347-9
Vorwort zur 2. Auflage
Die erste Auflage dieses Buches war nach kurzer Zeit vergriffen, und daher
wurde es Zeit für eine zweite, überarbeitete und erweiterte Fassung. Buch
grundlage sind eine Vorlesung zur Informations- und Kodierungstheorie im
Grundstudium sowie eine darauf aufbauende Vorlesung zur Kanalkodierung
im Hauptstudium an der Fakultät Informatik der TU Dresden.
Im Kapitel Quellenkodierung ersetzt das praktisch bedeutsamere LZW-Kom
pressionsverfahren das SHANNON-Verfahren. Das Kapitel Übertragungskanä
le wurde um einen Abschnitt Störerkennung erweitert.
Um der Bedeutung der Kanalkodierung in der modernen Kommunikationstech
nik und deren Entwicklung in den letzten Jahren Rechnung zu tragen, wurde
das Kapitel zur Kanalkodierung durch Frau Dr. D. Schönfeld inhaltlich neu
gestaltet und stark erweitert. Ausführlich werden Blockkodes und blockfreie
Kodes, serielle und parallele Kodeverkettungen mit hard decision- und (itera
tiver) soft decision-Dekodierung beschrieben.
Das Buch wendet sich vor allem an Studenten der Informatik, Medieninforma
tik, Nachrichtentechnik und Mathematik an Universitäten und Fachhochschu
len. Mathematische Anforderungen und die methodische Darstellung des Stof
fes sind so gewählt, daß auch Studenten anderer Fachrichtungen solides Wissen
auf diesem Gebiet erwerben können, auch im Selbststudium. Durchgerechnete
Beispiele zu den einzelnen Stoffgebieten und Aufgaben mit unterschiedlichem
Schwierigkeitsgrad zur Selbstkontrolle erleichtern das Studium.
Die Auswahl der Stoffgebiete, der zahlreichen Beispiele und Aufgaben zeigt
dem Leser, daß die Informations- und Kodierungstheorie als angewandte ma
thematische Disziplin viele praxisrelevante Bezüge hat und ihre Ergebnisse
in der modernen Informationsverarbeitung und Kommunikationstechnik ihren
Niederschlag finden.
Dresden, im Februar 2003 Die Autoren
Inhalt
1 Einführung 9
1.1 Gegenstand der Informations- und Kodierungstheorie 9
1.2 Informationsbegriff und Informationsmaß . . . 11
2 Informationsquellen 13
2.1 Modeliierung und Klassifizierung von Quellen ..... 13
2.2 Diskrete Quellen . . . . . . . . . . . . . . . . . . . . . 15
2.2.1 Diskrete Quellen mit unabhängigen Ereignissen 15
2.2.2 Diskrete Quellen mit abhängigen Ereignissen . 20
2.2.3 Verbundquellen . 27
2.3 Kontinuierliche Quellen . . . 33
2.4 Aufgaben . . . . . . . . . . 37
3 Kodierung diskreter Quellen 40
3.1 Einführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.2 Dekodierungsbedingungen . . . . . . . . . . . . . . . . . . . . . 41
3.3 Koderedundanz und erstes SHANNONsches Kodierungstheorem 45
3.4 Optimalkodierung . . . . . . . . . . . . . . . . . . . . . . 48
3.4.1 Grundsätzliches . . . . . . . . . . . . . . . . . . . 48
3.4.2 Verfahren auf der Grundlage der Quellenstatistik 49
3.4.3 Verfahren ohne Kenntnis der Quellenstatistik 59
3.5 Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . 65
4 Nachrichten und Kanäle 68
4.1 Einführung . . . . . . . . . . . . . . . . . . . . 68
4.2 Signale für die Informationsübertragung . . . . 68
4.2.1 Beschreibung der Signale im Zeitbereich 69
4.2.2 Beschreibung der Signale im Frequenzbereich . 71
4.2.3 Wechselbeziehungen im Zeit- und Frequenzbereich 73
4.2.4 Abtasttheorem für frequenzbegrenzte Signale 73
4.3 Beschreibung der Kanäle aus Sicht der Signalübertragung . 75
Inhalt 7
404 Beschreibung der Kanäle aus Sicht der Informationsübertragung 77
4.401 Reale Kanäle 77
4.402 Kanalmodell 0 77
5 Diskrete Kanäle 80
501 Darstellung gestörter diskreter Kanäle 80
502 Kanalkapazität diskreter Kanäle 0 83
503 Binärkanal 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 90
50301 Gestörter Binärkanal 0 0 0 0 0 0 90
50302 Spezialfälle des gestörten Binärkanals 92
50303 Kanalkapazität des Binärkanals 98
504 Aufgaben 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 99
6 Analoge Kanäle 102
601 Transinformation analoger Kanäle 0 0 102
602 Kanalkapazität analoger Kanäle 0 104
603 Aufgaben 0 0 0 0 0 0 0 0 0 0 0 0 106
7 Quantisierung analoger Signale 108
701 Zeitquantisierung 0 0 0 0 0 0 110
702 Amplitudenquantisierung 0 0 0 0 111
70201 Allgemeines 0 0 0 0 0 0 0 111
70202 Quantisierungskennlinien 0 0 112
70203 Darstellung der Information quantisierter Signale 0 114
70204 Signal-Rauschabstand in quantisierten Signalen 0 117
70205 Quantisierung eines gestörten Signals 0 0 0 0 0 0 120
70206 Kenngrößen der Analog-Digital-Umwandlung 0 122
703 Aufgaben 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 123
8 Kanalkodierung 125
801 Einführung 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 125
801.1 Zweites SHANNONsches Kodierungstheorem 0 0 125
801.2 Prinzipien der Fehlerkorrektur 0 0 0 0 0 0 0 126
801.3 Allgemeine Kenngrößen von Kanalkodes 0 130
801.4 Aufgaben 0 0 0 0 0 0 0 0 0 0 0 137
802 Kurzbeschreibung von Kanalkodes 0 0 138
80201 Blockkodes 0 0 0 0 138
80202 Blockfreie Kodes 0 141
80203 Aufgaben 0 0 0 0 0 141
803 Lineare Blockkodes 0 0 0 0 142
80301 Begriffsbestimmung 0 0 142
80302 Darstellung von Linearkodes als Gruppen 0 0 142
8 Inhalt
8.3.3 Darstellung von Linearkodes durch Vektorräume . . . . . 143
8.3.4 Darstellung von Linearkodes durch Matrizen ...... . 145
8.3.5 Fehlererkennung und Fehlerkorrektur von Linearkodes. . 151
8.3.6 Aufgaben ............ . 154
8.4 Fehlerkorrigierende HAMMING-Kodes . 155
8.4.1 Korrekturschema ........ . 155
8.4.2 Verkürzte HAMMING-Kodes . 158
8.4.3 Erweiterte HAMMING-Kodes . . 159
8.4.4 Aufgaben ............ . 161
8.5 Zyklische Kodes . . . . . . . . . . . . . . 162
8.5.1 Ausgewählte algebraische Grundlagen . . 162
8.5.2 Kodierung und Fehlererkennung . . 169
8.5.3 BCH-Kodes ......... . 175
8.5.4 REED-SOLOMON-Kodes . . 182
8.5.5 Fehlerkorrekturverfahren . . 185
8.5.6 Aufgaben .......... . 196
8.6 Faltungskodes . . . . . . . . . . . . . 199
8.6.1 Kodierschaltung und Beschreibungsformen . 200
8.6.2 Punktierung . . . . . . . . . . . . 208
8.6.3 Dekodierung . . . . . . . . . . . . 209
8.6.4 Blockkodes und Trellisstruktur . 227
8.6.5 Aufgaben ........ . 229
8.7 Kodeverkettung . . . . . . . . . . . 231
8.7.1 Serielle Kodeverkettung . 232
8.7.2 Parallele Kodeverkettung . . 238
9 Bewertung von Kanalkodes 251
9.1 Kanalunabhängige Bewertung . . . . . . . . . . . 251
9.2 Kanalabhängige Bewertung . . . . . . . . . . . . 254
9.2.1 Bewertungsgrößen für lineare Blockkodes . 254
9.2.2 Restfehlerwahrscheinlichkeit bei Auslöschungen . 260
9.2.3 Restfehlerwahrscheinlichkeit bei verketteten Blockkodes . 264
9.2.4 Bewertung von Faltungskodes . . . 266
9.3 Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
Algebraische Strukturen und Vektorräume 269
Lösungen der Aufgaben 272
Literatur 283
Sachverzeichnis 286
1 Einführung
1.1 Gegenstand der Informations- und
Kodierungstheorie
Die Informations- und Kodierungstheorie [information and coding theory) ge
hört zum theoretischen Fundament der Informatik. Sie dient der formalen Be
schreibung, der Analyse und Bewertung informationeHer Prozesse (wie Erzeu
gung, Übertragung und Speicherung von Informationen) in unterschiedlichen
Anwendungsbereichen. Bemerkenswert dabei ist, daß die Information in diesen
Prozessen immer nur in kodierter Form erscheint, womit bereits auf den engen
Zusammenhang zwischen Information und Kodierung hingewiesen werden soll.
Die Entstehung der Informationstheorie und der Kodierungstheorie fällt des
halb nicht zufällig in die gleiche Zeit, die mit den grundlegenden Arbeiten von
C. E. SHANNON [SHA 48) und R. W. HAMMING [HAM 50) datiert werden
kann. In der Folgezeit haben sich beide Theorien dann jedoch weitgehend selb
ständig entwickelt.
Obwohl die Informationstheorie, historisch gesehen, aus den Bedürfnissen der
Nachrichtenübertragung entstand, fand sie nach dem Erscheinen der Arbeit
von SHANNON eine rasche Verbreitung in vielen Anwendungsbereichen. Da
bei wurden aber auch bald ihre Grenzen erkannt, die darin bestehen, daß die
Informationstheorie nur eine spezifische Seite der Information, nämlich ihren
statistischen Aspekt, erfaßt, der sich auf die wahrscheinlichkeitstheoretische
Verteilung der informationstragenden Elemente (z.B. Zeichen) bezieht. Man
sagt deshalb auch zu Recht "Statistische Informationstheorie" oder ,,SHAN
N 0 Ns ehe Informationstheorie".
Für die Einbeziehung des semantischen Aspekts (Bedeutung der Information)
und des pragmatischen Aspekts (Nutzen für den lnformationsempfänger) ist
bisher noch keine gleichwertige und allgemeingültige Lösung gefunden worden.
Andererseits hat die Beschränkung auf den statistischen Aspekt jedoch in den
meisten Fällen erst eine mathematische, d.h. wahrscheinlichkeitstheoretische
10 1 Einführung
Beschreibung informationstheoretischer Probleme ermöglicht. Die Anwendung
der SHANNONschen Informationstheorie ist also überall dort berechtigt, wo
semantische und pragmatische Aspekte der Information unberücksichtigt blei
ben können, z.B. bei der Übertragung und Speicherung von Daten. Aus diesem
Grunde wird auch der SHANNONschen Informationstheorie das Modell ei
ner gestörten Nachrichtenübertragung (Bild 1.1.1) zugrunde gelegt. Dabei ist
besonders darauf hinzuweisen, daß der Übertragungskanal von der physischen
Realisierung abstrahiert ist. Es kann dahinter ein Übertragungsweg, aber auch
genauso ein Speichermedium, in das Informationen geschrieben und wieder
ausgelesen werden, stehen.
Störung
Bild 1.1.1 Allgemeines Modell der Nachrichtenübertragung
Bei dieser verhältnismäßig starken Abstraktion von realen Übertragungssyste
men ist zu berücksichtigen, daß es hier in erster Linie um Modelle für die
Übertragung von Information geht und nicht von Signalen als Träger der In
formation. Probleme der Signalübertragung werden in diesem Buch nur dann
angesprochen, wenn es das Verständnis der Informationsübertragung und der
Dekodierung von Information erfordert.
Für die im Bild 1.1.1 enthaltenen Blöcke Quelle [source] und Übertragungs
kanal [transmission channel] werden wahrscheinlichkeitstheoretische Modelle
entwickelt, mit denen die Quelleninformation und die vom Kanal unter dem
Einfluß von Störungen [noise] übertragene Information (Transinformation)
berechnet werden können.
Die Effektivität der Informationsübertragung ist wesentlich von der Kodie
rung der Information abhängig. Dabei geht es um zwei grundlegende Aspek
te: Einerseits soll die Quelleninformation in einer übertragungsfähigen Form
eindeutig und rationell dargestellt und andererseits gegen Störungen auf dem
Übertragungskanal geschützt werden. Dazu bietet die Kodierungstheorie eine
Vielzahl verschiedener Methoden an. Die Informationstheorie bestimmt da
gegen die Möglichkeiten und Grenzen der Informationsübertragung bei einer
geeigneten Kodierung. Auch wenn die Kanalkodierung (s törungsgeschützte Ko
dierung) sich immer mehr zu einem selbständigen Teilbereich entwickelt hat,
ist es gerechtfertigt, von einer "Informations- und Kodierungstheorie" zu spre
chen.
Wesentliche Aufgaben und Ziele der Informations-und Kodierungstheorie sind:
