Informations- und Codierungstheorie: Mathematische Grundlagen der Daten-Kompression und -Sicherung in diskreten Kommunikationssystemen

485 Pages·1995·26.26 MB·German

by  Prof. Dr. Werner Heise

Werner Heise
Pasquale Quattrocchi
Informations- und
Codierungstheorie
Mathematische Grundlagen der
Daten-Kompression und -Sicherung in
diskreten Kommunikationssystemen
Dritte, neubearbeitete Auflage
Mit 43 Abbildungen und 6 Tabellen
Springer
Prof. Dr. Werner Heise
Mathematisches Institut
Technische Universität München
Arcisstraße 21
D-80333 München
Prof. Dr. Pasquale Quattrocchi
Dipartimento di Matematica Pura
ed Applicata
Universita degli Studi
Via Campi 213/B
1-411 00 Modena
ISBN-13: 978-3-540-57477-4 e-ISBN-I 3: 978-3-642-78659-4
001: 10.1007/978-3-642-78659-4
CIP-Aufnahme beantragt
Dieses Werk ist urheberrechtlich geschützt. Die dadurch begründeten Rechte,
insbesondere die der Übersetzung, des Nachdrucks, des Vortrags, der Entnah
me von Abbildungen und Tabellen, der Funksendung, der Mikroverfilmung oder
der Vervielfältigung auf anderen Wegen und der Speicherung in
Datenverarbeitungsanlagen, bleiben, auch bei nur auszugsweiser Verwertung,
vorbehalten. Eine Vervielfältigung dieses Werkes oder von Teilen dieses Werkes
ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestimmungen des
Urheberrechtsgesetzes der Bundesrepublik Deutschland vom 9. September
1965 in der jeweils geltenden Fassung zulässig. Sie ist grundsätzlich vergütungs
pflichtig. Zuwiderhandlungen unterliegen den Strafbestimmungen des Urheber
rechtsgesetzes.
© Springer-Verlag Berlin Heidelberg 1995
Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen
usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu
der Annahme, daß solche Namen im Sinne der Warenzeichen- und Marken
schutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann
benutzt werden dürften.
Satz: Reproduktionsfertige Vorlage der Autoren
SPIN 10129115 45/3142 -5 43210 - Gedruckt auf säurefreiem Papier
Unseren verehrten Lehrern
Helmut Karzel
und
Luigi Antonio Rosati
in Dankbarkeit gewidmet
Vorwort zur ersten Auflage
Frau Professor JUDITA COFMAN machte den italienischen Autor im März
1977 darauf aufmerksam, daß seine Arbeiten über scharf dreifach transi
tive Permutations mengen mit den Arbeiten des deutschen Autors über
Minkowski-Ebenen in wesentlichen Ergebnissen deckungsgleich waren.
Der Italiener lud den Deutschen daraufhin als Gastprofessor des
Consiglio Nazionale delle Ricerche (CNR) am Mathematischen Institut
der Universität Modena ein; die Konkurrenz wandelte sich schnell in eine
dauerhafte Freundschaft.
Ausgehend von unserem ursprünglichen Arbeitsgebiet, der endlichen
Geometrie, interessierten wir uns zunehmend für die Codierungstheorie.
In Vorlesungen und Seminaren der Technischen Universität München
und in Seminaren an der Universität Modena (während der sich alljähr
lich wiederholenden Gastaufenthalte des deutschen Autors in Italien)
spürten wir den Mangel an für Studenten geeigneten Lehrbüchern, die
über eine bloße Einführung hinausführten. Die meisten weiterführenden
Bücher sind entweder nachrichtentechnischer Natur oder wenden sich an
Spezialisten mit besonderen mathematischen Vorkenntnissen.
Als wir dieses Buch schrieben, stellten wir uns den Leser als Studenten
der Informatik im 5. Semester vor, der sich für die mathematischen
Grundlagen der Informations- und Codierungstheorie interessiert. Zur
Bequemlichkeit des Lesers haben wir die benötigten (und als bekannt
vorausgesetzten) Grundbegriffe aus Analysis, Wahrscheinlichkeitsrech
nung und Algebra rekapituliert. (So ist beispielsweise der Abschnitt 3.1
den grundlegenden Eigenschaften der Logarithmus-Funktionen gewid
met.) Die Darstellung dieser Grundbegriffe sollte nicht dazu verleiten, die
entsprechenden Abschnitte als Lehrbuch der Algebra oder Wahrschein
lichkeitsrechnung zu mißbrauchen: Nur für den Gegenstand dieses Buches
relevante Grundlagen sind dargestellt.
VIII Vorwort
Zu Problemen der technischen Realisation von Kommunikationssyste
men haben wir geschwiegen. Als Mathematiker haben wir dazu nichts zu
sagen.
Das Buch konzentriert sich auf den mathematischen Aspekt der
Daten-Kompression und -sicherung in diskreten Kommunikationssyste
men. Das heißt zum Beispiel, daß in Abschnitt 9.6 die mathematischen
Grundlagen der Decodierung der BCH-Codes ausführlich dargestellt
werden, daß aber der BERLEKAMP-MASSEY-Algorithmus - ein effIzientes
Verfahren zur Aufstellung der für die Decodierung benötigten linearen
Gleichungssysteme über GF(q) - selbst nicht gebracht wird, ganz zu
schweigen von der technischen Realisation des Decodierers.
Abgesehen von wenigen Ausnahmen in sehr speziellen Passagen (zum
Beispiel in Abschnitt 8.12) werden die Aussagen dieses Buches bewiesen;
deswegen haben wir im Text im allgemeinen auf Literaturhinweise und
Prioritätszuweisungen verzichtet.
Ein Student der Informatik sollte nicht zuviel Zeit für ein Randgebiet
der Informatik wie die Informations- und Codierungstheorie verschwen
den. Wir haben deswegen auf Übungsaufgaben verzichtet und statt
dessen durchgerechnete Beispiele in den Text eingefügt.
Wir danken Frau DORIS JAHN für das sorgfältige Tippen des Manu
skriptes und machen sie für alle mathematischen Fehler haftbar. Der
italienische Autor übernimmt dafür die Verantwortung für alle Tipp
Fehler. Der deutsche Autor weist jede Verantwortung weit von sich. Das
Stichwortverzeichnis hat Frau ULRIKE REISE angefertigt. Die Herren
ARRIGO BONISOLI, PAVEL FILIP und JEAN GEORGIADES wurden von uns
freundliehst gezwungen, das Manuskript auf Fehler zu kontrollieren; die
Herren Professoren Dr. HELMUT VOGEL und Dr. HEINZ WÄHLING lasen Ab
schnitt 3.6 beziehungsweise Kapitel 7 durch. Jeder unentdeckte Fehler
vermindert unseren Dank. Der Vater des deutschen Autors, BRUNO HEISE,
hat die Diagramme gezeichnet. Danke, Papa! Als Materialisten danken
wir dem Consiglio Nazionale delle Ricerche überaus herzlich für die
Finanzierung der Gastaufenthalte in Modena. Herrn ROSSBACH vom
Springer-Verlag danken wir für die unbürokratische Betreuung.
Eine persönliche Anmerkung für unseren gemeinsamen Landsmann
REINHOLD MESSNER:
Bitte verzeihen Sie uns die respektlose Bemerkung in Kapitel 10. Seien
Sie versichert, daß wir Ihre sportlichen Leistungen bewundern.
Modena, im Februar 1983
W.H. P.Q.
Vorwort zur zweiten Auflage
Folgendes hat sich geändert: Viele Schreibmaschinen-Tippfehler der
ersten Auflage wurden durch vornehmere Textverabeitungs-Tippfehler
ersetzt. Wo die Erfahrungen des Unterrichts es ermöglichten, wurde die
Darstellung gestrafft, gedehnt oder geglättet. Das betrifft insbesondere die
Kapitell, 7 und 8. Der Begriff "systematischer Code" wird jetzt im ortho
doxen Sinne verwandt. Der Begriff "optimaler Code" wurde konsequent
durch "MDS-Code" ersetzt und wird jetzt in einem umfassenderen Sinne
gebraucht. Die "Konvolutionscodes" heißen jetzt "Faltungscodes". Diese
Terminologieänderungen entspringen keiner tiefen Einsicht, sondern
wurden in Anpassung an den allgemeinen Sprachgebrauch vorgenom
men. In Abschnitt 8.7 werden neben der VARsAMov-Schranke auch die
GILBERT-Schranke für lineare Codes und die GRIESMER-Schranke bewie
sen. Die Kapitel 9 und 10 wurden gründlich revidiert. Da ist sozusagen
kein Buchstabe auf dem alten geblieben. In den Abschnitten 9.1 und 9.4
wurde das Automorphismenproblem für lineare und zyklische Codes sehr
viel sauberer beschrieben. In Abschnitt 9.7 wird nach einem fast trivial zu
nennenden Beweis des quadratischen Reziprozitätsgesetzes die Theorie
der Quadratische-Rest-Codes bis zur Quadratwurzelschranke unter
Einschluß des GLEASON-PRANGE-Theorems zum erstenmal in einem
Lehrbuch lückenlos und frei von groben Fehlern dargestellt. In Kapitel 10
wurde großer Wert darauf gelegt, die Begriffe "Faltungscode" und
"Faltungscodierer" zu trennen.
Soweit zum Abschreiben für den Rezensenten.
In Kapitel 7 und 10 haben wir uns über Fehler zweier "very important
persons" mokiert. Wer sich als Zensurenverteiler und Dogmenverkünder
betätigt, oder wer auf junge Mathematiker am Beginn ihrer Karriere
einschlägt, sollte auch einiges einstecken können. Bei allen anderen
Kollegen, die sich durch irgendeine Passage oder durch die Nichterwäh
nung ihrer Person in die Wade gebissen fühlen, entschuldigen wir uns von
X Vorwort
vornherein. So war das nicht gemeint. Im Zeichen von Glasnost lehnen
wir Personenkult ab.
Bei der Überarbeitung des Buches haben uns viele geholfen. Dafür
bedanken wir uns ganz herzlich. Zunächst einmal sind unsere zum Teil
unvergeßlich vergeBlichen Studenten zu nennen, für die dieses Buch
geschrieben wurde, und deren Kritik wir sehr ernst nehmen. Dr. MICHAEL
KAPLAN fand bei der Durchsicht des Manuskripts viele Fehler. Der Diplo
mand THOMAs HONOLD arbeitete fast das gesamte Manuskript gründlich
durch und veranlaBte zahlreiche Verbesserungen und Berichtigungen. Er
entdeckte alle lückenhaften Argumentationen, bei denen wir der Faulheit
nachgegeben und uns" 's wird schon so sein!" gedacht hatten; unerbittlich
drang er auf Präzisierung. Dr. sc. nato LUDWIG STAIGER las das Manu
skript ebenfalls durch, kritisierte schlampige Formulierungen, beseitigte
massenweise Fehler und machte uns auf einschlägige Arbeiten sowjeti
scher Codierungstheoretiker aufmerksam. Seinem fachmännischen Rat
sind wir ausnahmslos gefolgt. Die Erörterung der Code-Verkettung in
Abschnitt 8.10.4 entstammt seiner Feder; da beseitigte er schwachsinnige
Ausführungen der ersten Auflage. Die deutschen Postverwaltungen trans
portierten das Papier kilogrammweise zuverlässig und verlustfrei von
München nach Berlin und retour; das ist nicht selbstverständlich, sondern
verdient ein groBes Lob. Die italienische Post sabotierte die Fertigstellung
des Buches nach Kräften: Mit einer durchschnittlichen Geschwindigkeit
von 0,2 m/sec beförderte sie einen Express-Brief von Modena nach
München. Auch der Zoll hat Teile des Manuskripts begutachtet und
gestempelt, aber leider keine nützlichen Kommentare geliefert.
Die Ideen zu einigen neuen Bildern stammen von einem Freund, der
nicht genannt werden will; ein herzliches Dankeschön nach Frankfurt.
Herrn Dr. MICHAEL KAPLAN und Herrn Dr. PETER VACHENAUER danke ich
für die geduldige Einweihung in die Geheimnisse der Textverarbeitung.
Bei Frau INGEBORG MAYER und Herrn Dr. HANS WÖSSNER vom
Springer-Verlag bedanke ich mich für die familiäre und freundschaftliche
Betreuung. Am Telephon verabschiedeten wir uns stets mit "TschüB".
München, im September 1988
W.H.
Vorwort zur dritten Auflage
Eigentlich wollte ich an dem Buch außer der Umstellung auf das Textver
arbeitungssystem Signum!Drei der Firma Application Systems Heidelberg
Software GmbH nicht viel ändern. Unveränderte Neudrucke von Büchern
über sich verändernde Themen gleichen aber dem Aussetzen Unmündi
ger; die moralischen Bedenken siegten über die Faulheit: Die vorliegende
dritte Auflage ist kein "Update", sondern ein "Upgrade".
Bei guten Codierungen werden die Nachrichten und die sie symbolisie
renden Signale gleichmäßig gegen Störungen geschützt. Die Homogenität
drückt sich in Transitivitätseigenschaften der Symmetrien des Codes aus.
Dieser Gesichtspunkt wurde verstärkt berücksichtigt. Schon in dem als
Motivation gedachten Abschnitt 1.7.3 werden strukturerhaltende Abbil
dungen von Codes, die Isometrien und Automorphismen bezüglich der
HAMMING-Metrik, behandelt.
Die Kapitel 2 bis 6 wurden - bis auf eine Vereinfachung des Beweises
des Satzes über die maximale Effizienz einer Quellencodierung auf Seite
144f. - nur stilistisch überarbeitet.
In Abschnitt 7.1 habe ich die Grundlagen der linearen Algebra zum
Zwecke der Sprachregelung breiter dargestellt. Der Abschnitt 7.5 enthält
nun eine Liste der wichtigsten Eigenschaften der Kreisteilungspolynome.
Die Kapitel 8 und 9 sind nicht mit der zweiten Auflage kompatibel:
Hier wurden die Dinge umgestellt, vereinfacht, gestrichen und ergänzt;
auch die Codierungstheorie hat sich in den letzten stürmischen sechs
Jahren gewandelt, und ich habe einiges dazugelernt.
Herr Dr. THOMAS HONOLD hat mich in meiner Auffassung bestärkt, kei
nen Personenkult zu betreiben: In den Disquisitiones von CARL FRIEDRICH
GAUSS fand er eine Liste der Generatorpolynome der Quadratische-Rest
Codes einer Länge n ~ 23. Namensnennungen sind nicht als Prioritäts
zuweisungen zu verstehen, vielleicht findet man noch interessante baby
lonische Scherben.
XII Vorwort
Bei den Korrekturen haben mich Frau Dipl.-Math: IOANA CONSTANTINESCU
und Herr Dr. THOMAS HONOLD sehr zuverlässig unterstützt. Dafür und für
die stete Forderung nach Ausführlichkeit ("Ein Leser, der zugunsten des
Kaufes dieses Buches auf eine Tankfüllung bleihaitigen Superbenzins
verzichtet, hat ein Anrecht darauf, sich nicht alles selbst überlegen zu
müssen.'') bin ich ihnen sehr dankbar. Als Grundlage für den neuen
Abschnitt 9.7 diente mir die Ausarbeitung einer Vorlesung, die Herr Dr.
MICHAEL KAPLAN an der Universität der Basilicata in Potenza gehalten
hat; mein heißer Dank in das Büro nebenan! Herr Professor Dr. PAVEL
FILIP las im Wintersemester 1992/93 die Informations- und Codierungs
theorie an der TU München, davon habe ich profitiert; danke Pavlovic!
Herr Professor Dr. LUDWIG STAIGER bewahrte mich davor, in Kapitel 10
einen Bock zu schießen; danke Luigi! Herr Professor Dr. ARRIGO BONISOLI
versicherte mir, daß er die vor zehn Jahren begonnene Übertragung des
Buches in das Italienische fortsetzen werde; lieber Sole, ich entschuldige
mich dafür, daß Du Deine bisherigen Übersetzungen wegen Veraltung
wirst wegwerfen müssen! Bei Herrn Professor Dr. Dr. h. c. ROLAND
BULIRSCH bedanke ich mich für die Beschaffung der Zeichensätze der
Firma Holger Schlicht Types Hamburg. Die Zusammenarbeit mit Frau
INGEBORG MAYER und Herrn Dr. HANS WÖSSNER vom Springer-Verlag
verdient das Prädikat "ideal"; ich bedanke mich für die mir gebotene
Freiheit und freundschaftliche Behandlung.
Auch der Koautor der ersten Auflage hofft, daß die vorliegende dritte
Auflage einen solchen Reifegrad erreicht hat, daß wir es verantworten
können, dieses Buch den Männern zu widmen, die uns die Mathematik
beigebracht haben, den Professoren Dr. Dr. h.c. HELMUT KARzEL und
LUIGI ANTONIO ROSATl.
Die Wiedervereinigung erlaubt es mir, zwei Mißverständlichkeiten aus dem Vorwort
zur zweiten Auflage auszuräumen:
Bei dem ungenannten Frankfurter Freund, der die Ideen zu einigen Bildern beisteu
erte, handelt es sich um den Karikaturisten KARL KOPPE aus Frankfurt an der Oder;
herzlichen Dank, Karl!
Die italienischen Zollbeamten haben mich nie kontrolliert. Ein deutscher demokra
tischer Zöllner studierte den Entwurf des Kapitels über Faltungscodes sehr gründlich
und ließ mich unter Bedenken passieren.
München, im November 1994
W.H.
Inhaltsverzeichnis
Einleitung . .. ............................................. 1
1 Grundlagen der Codierung ............................... 7
1.1 Zeichen und Nachrichten ................................ 7
1.2 Der ISBN -Code. . . . .. .................................. 10
1.3 Diskretisierung......................................... 12
1.3.1 Rasterung......................................... 13
1.3.2 Quantisierung...................................... 15
1.4 Telegraphen-Codes ..................................... 18
1.5 Binärcodierungen alphanumerischer Zeichenvorräte ........ 19
1.6 Paritätskontrolle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 22
1.7 Grundbegriffe der Codierungstheorie ..................... 35
1.7.1 Eindeutig decodierbare Codes .......................... 36
1.7.2 Präfix-Codes....................................... 37
1.7.3 Blockcodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 41
1.8 Interleaving............................................ 61
2 Quellen und Kanäle ...................................... 65
2.1 Endliche Stichprobenräume . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 66
2.2 Quellen ............................................... 73
2.2.1 Quellen im engeren Sinne ............................. 73
2.2.2 Markov-Quellen .................................... 74
2.3 Kanäle ................................................ 94
2.3.1 Ungestörte Kanäle .................................. 97
2.3.2 Total gestörte Kanäle ................................ 97
2.3.3 Deterministische Kanäle. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 98
2.3.4 Symmetrische Kanäle ................................ 99
2.4 Kanalerweiterungen .................................... 101
2.5 Kanaldecodierer ........................................ 102
2.6 Kaskadenschaltung ..................................... 106