Table Of ContentDIRK W. HOFFMANN
Einführung in die Informations-
und Codierungstheorie
eXamen.press isteineReihe, dieTheorieund
Praxis ausallen Bereichen derInformatikfür
dieHochschulausbildungvermittelt.
Dirk W. Hoffmann
Einführung in die Informations-
und Codierungstheorie
DirkW.Hoffmann
HochschuleKarlsruhe
Karlsruhe,Deutschland
ISBN978-3-642-54002-8 ISBN978-3-642-54003-5(ebook)
DOI10.1007/978-3-642-54003-5
Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie;
detailliertebibliografischeDatensindimInternetüberhttp://dnb.d-nb.deabrufbar.
SpringerVieweg
(cid:2)c Springer-VerlagBerlinHeidelberg2014
DasWerkeinschließlichallerseinerTeileisturheberrechtlichgeschützt.JedeVerwertung,dienichtaus-
drücklichvomUrheberrechtsgesetz zugelassenist,bedarfdervorherigenZustimmungdesVerlags.Das
giltinsbesonderefürVervielfältigungen,Bearbeitungen,Übersetzungen,MikroverfilmungenunddieEin-
speicherungundVerarbeitunginelektronischenSystemen.
DieWiedergabe vonGebrauchsnamen, Handelsnamen, Warenbezeichnungen usw.indiesem Werkbe-
rechtigtauchohnebesondereKennzeichnung nichtzuderAnnahme,dasssolcheNamenimSinneder
Warenzeichen-undMarkenschutz-Gesetzgebung alsfreizubetrachtenwärenunddahervonjedermann
benutztwerdendürften.
GedrucktaufsäurefreiemundchlorfreigebleichtemPapier
SpringerViewegisteineMarkevonSpringerDE.
SpringerDEistTeilderFachverlagsgruppeSpringerScience+BusinessMedia
www.springer-vieweg.de
Vorwort
DieKommunikationistvonjehereinTeildermenschlichenKultur,unddochha-
ben sich der Bezug und der Austausch von Informationen in den letzten hundert
Jahren in einer Art und Weise verändert, die selbst kühne Visionäre nicht vorge-
sehen haben. Als Kinder des Informationszeitalters erachten wir flächendeckend
verfügbare Funk-, Fernseh- und Handynetze als genauso selbstverständlich wie
dasmobileInternetoderdiesatellitengestützteVerkehrsnavigation.
LassenwirdieEntwicklungderKommunikationstechnikinihrerzeitlichenAbfol-
gevorunseremgeistigenAugeRevuepassieren,sowirdunsereAufmerksamkeit
zwangsläufig auf die Entwicklungen gelenkt, die in der Mitte des zwanzigsten
Jahrhunderts stattgefunden haben. In jener Zeit verschmolz die Nachrichtentech-
nik, die als eine pure Ingenieursdisziplin begann, mit der damals aufkeimenden
Informations-undCodierungtheorie.EsisteineeinzigartigeSymbiosevonInge-
nieurskunst und mathematischer Finesse, die im Ergebnis zu einer vollständigen
DigitalisierungderNachrichtenübertragungführteunddentechnologischenFort-
schritt in ungeahnter Weise befeuerte. Es ist nicht übertrieben, wenn wir diese
SymbiosealsdenSchlüsselbezeichnen,derunsdieTürindasInformationszeital-
teröffnenließ.
Die Gedanken, Konzepte und Methoden, die sich hinter der Informations- und
Codierungstheorieverbergen,sindInhaltdiesesBuchs.Inallenmeinenbisherer-
schienenenPublikationenhabeichdasZielverfolgt,denStoffanwendungsorien-
tiert und didaktisch ansprechend zu vermitteln, und auch dieses Mal möchte ich
in diesem Punkt keine Ausnahme machen. Um eine enge Verzahnung zwischen
Theorie und Praxis zu erreichen, wurden die theoretischen Ausführungen immer
dann, wenn es mir möglich und sinnvoll erschien, durch Anwendungsbeispiele
undQuerbezügeergänzt.FernerhabeichdieLehrinhalteallerKapiteldurchzahl-
reiche Übungsaufgaben komplementiert, damit das Buch auch im Selbststudium
eingesetztwerdenkann.
Ich möchte all denen meine Verbundenheit aussprechen, die mich während der
Durchführung dieses Projekts unterstützt und damit zum Gelingen dieses Buchs
beigetragenhaben.FürHinweisezuVerbesserungsmöglichkeitenoderFehlernbin
ichjedemaufmerksamenLeserdankbar.
Karlsruhe,imJanuar2014 DirkW.Hoffmann
6
Symbolwegweiser
Definition
Satz,Lemma,Korollar
(cid:31)(cid:31)(cid:31) LeichteÜbungsaufgabe
(cid:31)(cid:31)(cid:31) MittelschwereÜbungsaufgabe
(cid:31)(cid:31)(cid:31) SchwereÜbungsaufgabe
LösungenzudenÜbungsaufgaben
InwenigenSchrittenerhaltenSiedieLösungenzudenÜbungsaufgaben:
1. GehenSieaufdieSeite:www.codierungstheorie.de
2. GebenSieeinenderimBuchabgedrucktenWebcodesein.
3. DieMusterlösungwirdalsPDF-Dokumentangezeigt.
Übersicht
Das vorliegende Buchführt praxisnah in dasGebiet der Informations-
und Codierungstheorie ein und orientiert sich dabei an den typischen
Lehrinhalten, die an Hochschulen und Universitäten in den Bachelor-
undMasterstudiengängenderNachrichtentechnik,Informatik,Elektro-
technikundInformationstechnikimHauptstudiumvermitteltwerden.
Kapitel 1 beginnt mit einem Rückblick auf die Geschichte der Nach-
richtenübertragung. Dieser wird helfen, die in den nachfolgenden Ka-
pitelnerarbeitetenErgebnissehistorischeinzuordnenundmitLebenzu
füllen. Der geschichtlich uninteressierte Leser mag dieses Kapitel ge-
fahrlosüberspringen;esistfürdasVerständnisdertechnischenDetails
nichterforderlich.
Kapitel 2 errichtet das mathematische Grundgerüst, auf dem wichtige
Teile der Informations- und Codierungstheorie ruhen. Im Mittelpunkt
stehenBegriffeausderAlgebra,dieindenadressiertenStudiengängen
nicht immer zum Standardrepertoire gehören. Erwartet wird, dass der
Leser mit den elementaren Begriffen und Methoden der Wahrschein-
lichkeitsrechnung vertraut ist, ohne die ein tieferes Verständnis der
Informations-undCodierungstheorienichtmöglichist.„Elementar“ist
hier wörtlich gemeint: Ich habe versucht, das notwendige Wissen aus
diesemBereichaufdasNötigstezubegrenzen;dieVerständlichkeithat
andenbetreffendenStellenVorrangvordermathematischenStringenz.
Im dritten Kapitel stehen die Begriffe Codierung und Information im
Mittelpunkt; beide werden dort ausführlich in ihren unterschiedlichen
Facettenbehandelt.DieVorstellungdesInformationsbegriffsorientiert
sich dabei eng an der gedanklichen Linie von Claude Shannon, jenem
Mathematiker, der mit seiner 1948 erschienenen Arbeit „A mathema-
ticaltheoryofcommunication“dieInformationstheorieinsLebenrief.
ShannonsWerkistfürdiegesamteKommunikationstechnikvonsoim-
menserBedeutung,dasswiranzahlreichenStellendaraufzusprechen
kommenwerden.
Danach folgt das Buch dem klassischen Kanon, der die digitale Da-
tenübertragung in eine Quellencodierung, eine Kanalcodierung und
eine Leitungscodierung unterteilt. Die Quellencodierung umfasst alle
Methoden und Algorithmen, die sich mit der Kompression von Da-
tenbeständen befassen, während die Kanalcodierung das Ziel verfolgt,
eine komprimierte Nachricht so um zusätzliche Information anzurei-
chern,dassderEmpfängerÜbertragungsfehlererkennenbzw.korrigie-
renkann.DieLeitungscodierungistdieletzteStufeindergeschilderten
Verarbeitungskette.SiebeantwortetdieFrage,wiesichdigitaleSignale
physikalischüberanalogeÜbertragungsmedientransportierenlassen.
Kapitelübersicht
Kapitel 1 (optional)
Von Leuchtfeuern und
Fackeln, Telegrafen und
sprechenden Drähten
Kapitel 8 Kapitel 2 (optional)
Was ist eine algebraische
Auf welche Weise
Struktur? Was haben
bewegen sich digitale
endliche Körper mit
Signale durch den Äther?
Polynomen zu tun?
KanWalecsohdailebrK usntaegplslittt hedle ao7sr em Einstiegspunkte zwWiasKsc hiaseptn idt eeeilrn 3Uemnt Cerosdche iuedn d
unsere Intuition auf eine einer Codierung?
so harte Probe? Was ist Information?
Kapitel 6 Kapitel 4
Wie lassen sich Mit welchen Methoden
Übertragungsfehler und Algorithmen lassen
erkennen bzw. sich Nachrichten
korrigieren? Kapitel 5 komprimieren?
Wann versagt die
Kompression? Was genau
besagt das Quellen-
codierungstheorem?
Inhaltsverzeichnis
1 GeschichtederNachrichtentechnik 13
1.1 VonFackelnundFeuernderAntike. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.1.1 FackelpostdesAgamemnon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.1.2 SynchrontelegrafdesAineias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.1.3 FackelcodedesPolybios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.2 DasmechanischeInternet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.2.1 Semaphoren-TelegrafvonClaudeChappe . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.2.2 Klappentelegrafen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.3 ElektrischeNachrichtenübertragung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.3.1 Nadeltelegrafen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
1.3.2 DerMorse-Telegraf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.4 MissionTransatlantik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.5 VonderTelegrafiezurTelefonie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
1.5.1 SuchenachdemharmonischenTelegrafen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
1.5.2 DrahtlosdurchdenÄther . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
1.6 VonderRöhrezumSupercomputer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
1.7 Informations-undCodierungstheorie. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
1.8 Übungsaufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
2 MathematischeGrundlagen 81
2.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
2.2 ModulareArithmetik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
2.3 AlgebraischeStrukturen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
2.3.1 Gruppen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
2.3.2 Körper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
2.3.3 Ringe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
2.3.4 Ideale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
2.4 EndlicheKörper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
2.4.1 Polynomringe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
2.4.2 KonstruktionendlicherKörper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
2.4.3 SchnellesRechneninendlichenKörpern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
2.5 Vektorräume. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
2.5.1 Generatormatrizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
2.5.2 Orthogonalräume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
2.6 Übungsaufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
