Table Of ContentKristian Kroschel
Statistische Informationstechnik
Springer-Verlag Berlin Heidelberg GmbH
ONLINE LIBRARY
http:// www.springer.de/ eng i ne-de/
Kristian Kroschel
Statistische
Informationstechnik
Signal- und Mustererkennung,
Parameter- und Signalschätzung
4., neu bearbeitete Auflage
Mit 130 Abbildungen
Springer
Prof. Dr.-Ing. Kristian Kroschel
Universität Karlsruhe
Institut für Nachrichtentechnik
Kaiserstr. 12
76128 Karlsruhe
E-Mail: kroschel@int. uni -karlsruhe.de
und
Fraunhofer-Institut für
Informations- und Datenverarbeitung (IITB)
Fraunhoferstr. 1
76131 Karlsruhe
E-Mail: [email protected]
Ursprünglich erschienen unter dem Titel "Statistische Nachrichtentheorie"
ISBN 978-3-540-40237-4 ISBN 978-3-662-10041-7 (eBook)
DOI 10.1007/978-3-662-10041-7
Bibliografische Information Der Deutschen Bibliothek
Die Deutsche Bibliothek verzeichnet diese Publikation in der Deutschen
Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über
<http://dnb.ddb.de > abrufbar.
Dieses Werk ist urheberrechtlich geschützt. Die dadurch begründeten Rechte, insbesondere die der
Übersetzung, des Nachdrucks, des Vortrags, der Entnahme von Abbildungen und Tabellen, der Funksen
dung, der Mikroverfilmung oder der Vervielfaltigung auf anderen Wegen und der Speicherung in Daten
verarbeitungsanlagen, bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten. Eine Vervielfaltigung
dieses Werkes oder von Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzli
chen Bestimmungen des Urheberrechtsgesetzes der Bundesrepublik Deutschland vom 9. September 1965
in der jeweils geltenden Fassung zulässig. Sie ist grundsätzlich vergütungspflichtig. Zuwiderhandlungen
unterliegen den Strafbestimmungen des Urheberrechtsgesetzes.
http://www.springer.de
© Springer-Verlag Berlin Heidelberg 1973, 1986, 1996 and 2004
Ursprünglich erschienen bei Springer Verlag Berlin Heidelberg New Yo rk 2004
Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk be
rechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der
Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann
benutzt werden dürfen.
Sollte in diesem Werk direkt oder indirekt auf Gesetze, Vorschriften oder Richtlinien (z.B. DIN, VDI, VDE)
Bezug genommen oder aus ihnen zitiert worden sein, so kann der Verlag keine Gewähr für die Richtigkeit,
Vollständigkeit oder Aktualität übernehmen. Es empfiehlt sich, gegebenenfalls für die eigenen Arbeiten
die vollständigen Vorschriften oder Richtlinien in der jeweils gültigen Fassung hinzuzuziehen.
Buchherstellung: PTP-Berlin Protago-TeX-Production GmbH, Berlin
Einbandgestaltung: medio technologies AG, Berlin
Gedruckt auf säurefreiem Papier 7/3020Yu -5 4 3 2 1 0 -
Vorwort
Das vorliegende Buch stellt die 4. Auflage des Buches mit dem Titel Statistische Nach
richtentheorie als Studienausgabe dar. Der Inhalt beschränkt sich auf die Kernfragen der
Themenbereiche Detektion und Estimation und berücksichtigt neuere Entwicklungen in
der Technik. Dazu zählt die Tatsache, dass Systeme der Informationstechnik wegen der
Genauigkeitsanforderungen bei der Realisierung und der daraus folgenden Kosten nur in
digitaler Technik realisiert werden. Deratige digitale Systeme findet man heute bei vielen
Massenanwendungen wie der Mobiltelefonie oder der Fahrzeugnavigation.
Eine Studienausgabe sollte auch auf Anschaulichkeit Wert legen und als Lehrbuch
Handfertigkeiten vermitteln. Deshalb findet man im Text eingestreute Übungsaufgaben
und Veranschaulichungen durch Simulationen mit MATLAB®, um den studentischen Le
sern die Möglichkeit zu bieten, sich den Stoff selbständig zu erarbeiten und gegebenenfalls
auf Prüfungen vorzubereiten. Dabei geht es nicht um routinemäßiges Einsetzen von Zah
lenwerten in vorgegebene Formeln, vielmehr soll jede gelöste Aufgabe eine weitere Einsicht
in das Stoffgebiet liefern. Die Lösungen wurden deshalb nicht beigefügt, um ein tieferes
Nachdenken nicht durch einen vorzeitigen Blick in die Lösungen abzubrechen. Man findet
Musterlösungen und Hinweise zu den Aufgaben über die Internetseite unter
http://www.springer.de/cgi/svcat/bag_generate.pl?ISBN=3-540-40237-3.
Es wird dabei vorausgesetzt, dass der Leser Kenntnisse auf den Gebieten Systemtheorie
einschließlich Fourier-und Laplace- bzw. z-Transformation besitzt und auch über Grund
kenntnisse der Übertragungstechnik verfügt. Auf die in diesem Buch benötigten Kenntnisse
der Statistik wird dagegen etwas ausführlicher eingegangen, auch wenn die im Grundstu
dium der Informationstechnik vermittelten Grundkenntnisse der Statistik, z.B. [Kre68],
[Pap65], [Han83], vorausgesetzt werden.
Das in diesem Buch zusammengefasste Material entstammt Vorlesungen in Karlsruhe
und Harnburg sowie Vorträgen in der Industrie und an Einrichtungen zur Weiterbildung im
Bereich der Ingenieur- und Naturwissenschaften. Inhaltlich wendet es sich an Studieren
de höheren Semesters der Fachrichtungen Informationstechnik und Informatik sowie der
Elektrotechnik und Regelungstechnik oder auch der Technomathematik Es wird auch für
Ingenieure und Naturwissenschaftler von Interesse sein, die aufgrundihres Arbeitsgebietes
einen einführenden Einblick in die statistische Informationstechnik gewinnen wollen.
Für weitergehende Betrachtungen auf diesem Gebiet und spezielle Anwendungen, z.B.
in der Radartechnik oder der Spektralschätzung, sei auf die entsprechende Literatur
[Sko62], [Woo64], [Ber65], [Nah68], [Pil93] verwiesen.
Im ersten Kapitel werden die hier behandelten Begriffe Detektion und Estimation
eingeführt, wobei immer auf praktische Anwendungen Bezug genommen wird.
Eine Zusammenfassung der hier benötigten Begriffe der Statistik stellt das zweite Ka
pitel dar. Leider gibt es keine allgemein anerkannte Nomenklatur für diese Begriffe. In der
DIN 13 303 wird die Schreibweise für Beschreibungsgrößen von Zufallsvariablen einge
führt, die in diesem Buch auf Zufallsprozesse erweitert wird. Am Schluss stehen Modelle
zur Beschreibung stationärer und instationärer gestörter Zufallsprozesse.
VI Vorwort
Obwohl in diesem Buch vorwiegend zeitdiskrete Signale behandelt werden, die durch
Abtastung aus analogen Signalen enstehen, so dass bereits eine für Aufgaben der sta
tistischen Informationstechnik geeignete Darstellungsform vorliegt, wird dieses Thema im
dritten Kapitel aufgegriffen, um z.B. die auf sinusförmigen Größen beruhende Darstellung
von digital modulierten Signalen als Vektoren verstehen zu können.
Die einfache und multiple Detektion mit ihren verschiedenen Optimalitätskriterien
werden im vierten Kapitel behandelt. Dazu zählt auch, die Fehlerwahrscheinlichkeit zu
minimieren. Bei vorgegebener Signalenergie werden dazu optimale Signalvektorkonfigura
tionen und deren Entscheidungsgebiete bestimmt.
Aufbauend auf den im vierten Kapitel behandelten Grundlagen für die Detektionstheo
rie werden im fünften Kapitel Systeme für die Signal- und Mustererkennung dargestellt:
Neben dem altbekannten Korrelationsempfänger auch neuere Ansätze wie künstliche neu
ronale Netze oder auf der Fuzzy-Logik basierende Systeme sowie Clusterverfahren, die bei
der Mustererkennung eingesetzt werden.
Während der erste Teil dieses Buches sich mit der Detektion beschäftigt, wird im zwei
ten Teil auf die Estimation, d.h. die Parameter- und Signalschätzung näher eingegangen.
Im sechsten Kapitel wird die Parameterschätzung behandelt. Hier findet man die Bayes
und die Maximum-Likelihood-Schätzer. Schließlich werden die Grenzen der Schätzgenau
igkeit an Hand der Cramer-Rao-Ungleichung diskutiert.
Das siebte Kapitel stellt eine Einführung in die lineare Parameterschätzung dar, die
auch bei der Signalschätzung eine Rolle spielt, da in beiden Fällen das Orthogonalitäts
prinzip zur Herleitung der Schätzsysteme verwendet wird.
Der Rest des Buches befasst sich mit Problemen der Signa/schätzung. Im achten Kapi
tel werden die Wiener-Filter behandelt. Dabei wird auf die drei Formen der Signalschät
zung Filterung, Prädiktion und Interpolation eingegangen. Anwendungen dazu sind die
Kompression von Quellensignalen mit Hilfe von DPCM und die Geräuschreduktion von
gestörten Sprachsignalen.
Das neunte Kapitel ist den Kaiman-Filtern als den Systemen zur Schätzung instatio
närer Prozesse gewidmet. In den Aufgaben findet man als Anwendung die Echokompen
sation bei der Datenkommunikation.
An dieser Stelle möchte ich all denen danken, die zum Entstehen dieses Buches durch
Diskussionen und Hinweise innerhalb und außerhalb von Vorlesungen und Kursen und
durch Rezensionen beigetragen haben. Bei der technischen Erstellung, z.B. der Abbil
dungen, unterstützten mich u.a. Frau Eva-Maria Schubart und Frau Angelika Olbrich.
Den Herren Dipl.-Ing. Dirk Bechler, Dipl.-Ing. Martin Heckmann und Dipl.-Ing. Markus
Schlosser danke ich sehr herzlich für Diskussionen über inhaltliche Darstellungen und die
kritische Durchsicht des Textes. Unbeschadet dieser Mitwirkung liegt die Verantwortung
für die Form der Darstellung, die Auswahl des Stoffes und die Aufgaben bei mir. Hinweise
auf Unstimmigkeiten und Verbesserungsvorschläge sind stets willkommen und werden bei
der nächsten Auflage Beachtung finden.
Mein besonderer Dank gilt meiner Frau, die mir die vielen Stunden nachsah, die ich
über die übliche Arbeitszeit hinaus beim Schreiben dieses Buches verbrachte. Dem Verlag
gilt mein Dank für die Ermutigung zu dieser neuen Konzeption des Buches und die gute
Zusammenarbeit bei seiner Erstellung.
Karlsruhe, im April 2003
Kristian Krasehel
Inhaltsverzeichnis
1 Detektion und Estimation 1
1.1 Detektion . . . . . . . . 3
1.1.1 Signalerkennung. 3
1.1.2 Mustererkennung 4
1.2 Estimation . . . . . . . . 6
1.2.1 Parameterschätzung 6
1.2.2 Signalschätzung . 7
1.3 Entwurfsansätze . . . . . . 8
2 Grundbegriffe der Statistik 11
2.1 Zufallsvariable .. 11
2.2 Zufallsprozesse ..... . 15
2.3 Transformationen . . . . . 18
2.3.1 Transformation von Zufallsvariablen. 18
2.3.2 Transformation von Prozessen 19
2.4 Aufgaben ............ . 21
3 Signaldarstellung durch Vektoren 23
3.1 Vektordarstellung determinierter Signale 23
3.2 Darstellung von Prozessen durch Vektoren . . . . 24
3.2.1 Diskrete Karhunen-Loeve-Transformation. 26
3.2.2 Diskrete Cosinus-Transformation ... 28
3.3 Darstellung von instationären Prozessen . . . 29
3.3.1 Definition der Wavelet-Transformation 31
3.3.2 Diskrete Wavelet-Transformation . . . 32
3.3.3 Basisfunktionen für die Wavelet-Transformation 33
3.3.4 Wavelet-Transformation mit Hilfe von Filterbänken 35
3.3.5 Beispiel für ein Analysefilter ............ . 36
3.3.6 Implementation der diskreten Wavelet-Transformation 39
3.4 Vektordarstellung von M Signalen . . . . . 40
3.4.1 Analyse und Synthese von Signalen 40
3.4.2 Gram-Schmidt-Verfahren . 42
3.5 Irrelevante Information 43
3.6 Vektorkanäle 44
3. 7 Aufgaben . . . . . . . 45
4 Signal- und Mustererkennung 47
4.1 Binäre Detektion . . . . . . . . . . . . . . . . . 47
4.1.1 Bayes-Kriterium ............. . 48
4.1.2 Maximum-a-posteriori-Kriterium (MAP) 50
VIII Inhaltsverzeichnis
4.1.3 Neyman-Pearson-Kriterium .. 54
4.1.4 Der Likelihood-Verhältnis-Test . 55
4.1.5 Empfängerarbeitscharakteristik 56
4.1.6 Entscheidungsräume bei binärer Detektion 58
4.1. 7 Rückweisung . . . . . . . . . . . . . 64
4.2 Multiple Detektion . . . . . . . . . . . . . . . 67
4.2.1 MAP-Prinzip für multiple Detektion . 68
4.2.2 Entscheidungsregel bei Gaußprozessen 69
4.2.3 Wahl der Signalvektoren . . . . . . . . 71
4.2.4 Signalvektorkonfigurationen ..... . 72
4.2.5 Abschätzung der Fehlerwahrscheinlichkeit 79
4.2.6 Vergleich der Signalvektorkonfigurationen . 82
4.3 Klassifikation durch Cluster ...... . 84
4.3.1 Vektorquantisierer ....... . 88
4.3.2 Cluster mit scharfen Partitionen . 90
4.3.3 Cluster mit unscharfen Partitionen 93
4.4 Klassifikation ohne Kenntnis der Dichtefunktion 97
4.4.1 Schätzung der A-posteriori-Wahrscheinlichkeiten . 99
4.4. 2 Nächster-Nachbar-Klassifikator 101
4.4.3 Parzen-Fenster-Klassifikator . 103
4.4.4 Mehrreferenzen-Klassifikation 104
4.5 Vergleich der Verfahren . 105
4.6 Aufgaben . . . . . . . . . . . . ... 106
5 Systeme für die Signal- und Mustererkennung 109
5.1 Signalerkennung mit Korrelationsempfängern . 109
5.2 Polynomklassifikator .............. . 116
5.3 Klassifikatoren als neuronale Netze ...... . 119
5.3.1 Strukturen künstlicher neuronaler Netze 121
5.3.2 Mehrschichten-Perzeptron ....... . 122
5.3.3 Koeffizienten des zweischichtigen Perzeptrons . 125
5.4 Klassifikation mit Fuzzy-Logik ......... . 129
5.4.1 Fuzzifizierung der Eingangsgrößen ... . 131
5.4.2 Fuzzy-Inferenz mit Hilfe einer Regelbasis 132
5.4.3 Defuzzifizierung des Inferenz-Ergebnisses 136
5.5 Vergleich der Klassifikationssysteme . 137
5.6 Aufgaben . . . . . . . . . . . . . 138
6 Parameterschätzung {Estimation) 141
6.1 Beurteilungskriterien für Schätzwerte ...... . 142
6.2 Parameterschätzung mit A-priori-Information .. 144
6.2.1 Kostenfunktion des quadratischen Fehlers. 146
6.2.2 Kostenfunktion des absoluten Fehlers ... 147
6.2.3 Kostenfunktion mit konstanter Gewichtung großer Fehler 148
6.2.4 Invarianz des Bayes-Schätzwertes bezüglich der Kostenfunktion 149
6.3 Parameterschätzung ohne A-priori-Information . . . . . . . . 151
6.4 Minimaler mittlerer quadratischer Schätzfehler . . . . . . . . . . . . . . 157
6.4.1 Minimale Fehlervarianz bei fehlender A-priori-Dichte . . . . . . 158
6.4.2 Minimaler mittlerer quadratischer Fehler bei bekannter A-priori-
Dichte .................................. 161
Inhaltsverzeichnis IX
6.5 Multiple Parameterschätzung 162
6.5.1 Schätzverfahren 162
6.5.2 Schätzfehler 164
6.6 Aufgaben ...... . 164
7 Lineare Parameterschätzsysteme 167
7.1 Gauß-Markoff-Theorem ........... . 167
7.2 Additive unkorrelierte Störungen ..... . 172
7.3 Parametervektor ohne A-priori-Information . 174
7.4 Verbesserung der Schätzwerte ...... . 174
7.5 Schätzsystem als lineares Transversalfilter 178
7.6 Adaptive Parameterschätzung 182
7.7 Aufgaben .......... . 186
8 Wiener-Filter 189
8.1 Zeitkontinuierliche Wiener-Filter. 191
8.1.1 Aufgabenstellung und Annahmen . 191
8.1.2 Die Wiener-Hopf-Integralgleichung 193
8.1.3 Lösung der Wiener-Hopf-Integralgleichung 194
8.2 Eigenschaften von Wiener-Filtern ........ . 197
8.2.1 Schätzung einfacher Signalprozesse ... . 197
8.2.2 Wiener-Filterund konventionell entworfene Filter 204
8.3 Zeitdiskrete Wiener-Filter ............... . . 207
8.3.1 Minimaler mittlerer quadratischer Schätzfehler . . 210
8.4 Anwendungen von Wiener-Filtern ........ . . 211
8.4.1 DPCM-Codierer zur Redundanzreduktion 211
8.4.2 Geräuschreduktion bei Sprachübertragung 217
8.5 Aufgaben ..................... . 220
9 Kaiman-Filter 223
9.1 Aufgabenstellung und Annahmen . 224
9.2 Prädiktion ............ . . 225
9.2.1 Prädiktion um einen Schritt . 225
9.2.2 Prädiktion für beliebig viele Schritte . 235
9.3 Filterung . . . . . . . . . . . . . . . . . . . . . 240
9.4 Interpolation . . . . . . . . . . . . . . . . . . 243
9.4.1 Interpolation von einem festen Zeitpunkt aus . 244
9.4.2 Interpolation für einen festen Zeitpunkt . . . 250
9.4.3 Interpolation über einen festen Zeitabstand . 255
9.5 Aufgaben . . . . . . . . . . . . . . . . . . . . . . . 258
Literaturverzeichnis 259
Index 265
1
Detektion und Estimation
Die statistische Informationstechnik befasst sich mit so unterschiedlichen Aufgaben wie
der Extraktion von verrauschten Daten, die über einen gestörten Kanal übertragen wur
den, der Erkennung gesprochener Wörter, der Schätzung der Impulsantwort eines un
bekannten Übertragungskanals unter Störeinfluss, der Vorhersage des Signalverlaufs zum
Laufzeitausgleich bei der Quellencodierung oder der Kompensation von akustischen Echos,
die beim Gegensprechen über Freisprecheinrichtungen entstehen können.
Zur Veranschaulichung zeigt dazu Abb. 1.1 zwei Musterfunktionen r( t) eines verrausch
ten binären Datenprozesses, bei dem die Zustände low und high bzw. - 1 und +1 durch
einen negativen bzw. positiven Rechteckimpuls s(t) codiert werden. Die beiden Muster
funktionen unterscheiden sich durch das Signal-zu-Rauschverhältnis (SNR), das SNR = 3
dB bzw. SNR = -3 dB beträgt. Die Aufgabe der Signalerkennung im Rauschen besteht
darin, zu jedem Zeittakt T mit möglichst geringer Fehlerwahrscheinlichkeit zu entscheiden,
welcher dieser Zustände vorliegt.
2
0 I 2 3 4 5 6 7 0 I 2 3 4 5 6 7 8 9 10 II
TaktT TaktT
Abb. 1.1: Binärer gestörter Datenprozess für zwei Signal-zu-Rauschverhältnisse
Ein Beispiel zur Mustererkennung zeigt Abb. 1.2: Von einer Sprecherirr und einem Sprecher
wurde das Wort "Sprache" artikuliert. Es ist Aufgabe der Mustererkennung, trotz der
verschiedenen Signalverläufe dasselbe Wort zu erkennen. Diese Detektionsaufgabe wird
noch schwerer, wenn das Sprachsignal z.B. durch Umgebungsgeräusche gestört wird.
Gemeinsam ist allen genannten Aufgaben, dass ein Empfänger zu entwerfen ist, der
aus dem gestörten Empfangs- oder Messsignal die darin steckende Information durch
Schätzung extrahiert. Zur Veranschaulichung zeigt Abb. 1.3 das Modell der Informati
onsübertragung. Beim ersten Beispiel emittiert die Quelle die binären Daten, denen im
Sender das rechteckförmige Zeitsignal zugeordnet wird, so dass das Sendesignal s(t) ent
steht. Im Kanal überlagern sich die Störungen, so dass dem Empfänger zur Extraktion der
Quellendaten nur das gestörte Signal zur Verfügung steht. Beim zweiten Beispiel liefert
die Quelle die Wortbedeutung, die hier dem Wort "Sprache" entspricht. Die Umsetzung in
K. Kroschel, Statistische Informationstechnik
© Springer-Verlag Berlin Heidelberg 2004
