Table Of ContentMathematical Engineering -
Mathematische Methoden der Ingenieurwissenschaften
Gerhard Wunsch Helmut Schreiber
Stochastische
Systeme
4., neu bearbeitete Auflage
Mit 125 Abbildungen
Q-
Springer
Professor Dr.-Ing. habil. Dr. e. h. Dr. e. h. Gerhard Wunsch
Professor Dr.-Ing. habil. Helmut Schreiber
Technische Universität Dresden
Institut für Grundlagen der Elektrotechnik und Elektronik
Mommsenstraße 13
01062 Dresden
Deutschland
Die dritte Auflage ist in der Reihe Springer-Lehrbuch erschienen.
Bibliografische Information der Deutschen Bibliothek
Die Deutsche Bibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte
bibliografische Daten sind im Internet über http:lldnb.ddb.de abrufbar.
ISBN-10 3-540-29225-X 4. Aufl. Springer Berlin Heidelberg New York
ISBN-13 978-3-540-29225-8 4. Ad.S pringer Berlin Heidelberg New York
ISBN 3-540-54313-9 3. Aufl. Springer-VerlagB erlin Heidelberg New York
Dieses Werk ist urheberrechtlich geschützt. Die dadurch begründeten Rechte, insbesondere die der Uberset-
zung, des Nachdrucks, des Vortrags, der Entnahme von Abbildungen und Tabellen, der Funksendung, der
Mikroverlilmung oder der Vervielfältigung auf anderen Wegen und der Speicherung in Datenverarbeitungs-
anlagen, bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten. Eine Vervielfältigung dieses Werkes
oder von Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestimmungen des
Urheberrechtsgesetzesd er BundesrepublikD eutschland vom g. September 1965 in der jeweils geltenden Fassung
zulässig. Sie ist grundsätzlich vergütungspflichtig. Zuwiderhandlungen unterliegen den Strafbestimmungen des
Urheberrechtsgesetzes.
Springer ist ein Unternehmen von Springer Science+Business Media
springer.de
0 Springer-Verlag Berlin Heidelberg 1984,1986,199~2, 006
Printed in Germany
Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt
auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen-
und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften.
Sollte in diesem Werk direkt oder indirekt auf Gesetze, Vorschriften oder Richtlinien (z. B. DIN, VDI, VDE)
Bezug genommen oder aus ihnen zitiert worden sein, so kann der Verlag keine Gewähr für die Richtigkeit,
Vollständigkeit oder Aktualität übernehmen. Es empfiehlt sich, gegebenenfalls für die eigenen Arbeiten die
vollständigen Vorschriften oder Richtlinien in der jeweils gültigen Fassung hinzuziehen.
Satz: Reproduktionsfertige Vorlage der Autoren
Herstellung: LE-TEX Jelonek, Schmidt & Vödder GbR, Leipzig
Umschlagentwurfi design Bproduction GmbH, Heidelberg
Gedruckt auf säurefreiem Papier 713i4zIYL - 5 4 3 2 I o
Vorwort zur 4. Auflage
Das vorliegende Buch enthält die wichtigsten Begriffe und Grundlagen zur Analyse sto-
chastischer Systeme. Es verfolgt das Ziel, eine dem gegenärtigen internationalen Niveau
entsprechende, für Ingenieure gedachte Darstellung der Wahrscheinlichkeitsrechnung, der
Theorie zufälliger Prozesse und deren Anwendungen auf Systeme der Informationstechnik
zu geben. Damit unterscheidet sich das Buch grundlegend einerseits von den hauptsächlich
für Mathematiker gedachten Darstellungen, für deren Studium gute Kenntnisse der Wahr-
scheinlichkeitsrechnung vorausgesetzt werden (z.B. [4], [5], [17], [B])u,n d andererseits von
den zahlreichen Werken der technischen Literatur, in denen die angewandten Rechenme-
thoden meist recht knapp begründet sind oder nur sehr spezielle Anwendungen betrachtet
werden.
Das Buch ist aus Vorlesungen für Studierende der Fachrichtung Informationstech-
nik und aus der bereits in [20] verfolgten Konzeption hervorgegangen. Dabei wurde in
verstärktem Maße auf eine international übliche Diktion Wert gelegt, um dem Leser so
einen leichteren Übergang zu größeren und anerkannten Standardwerken mit weiterführen-
dem Inhalt zu ermöglichen. Es wurde versucht, den allgemeinen theoretischen Rahmen, in
dem sich heute jede moderne Darstellung der Stochastik bewegt, möglichst allgemeingültig
und zugleich anschaulich darzustellen. Dabei wurden gleichzeitig alle Abschnitte stärker
als üblich ausgebaut, die eine direkte Anwendung in der Systemanalyse (Schaltungsana-
lyse) zulassen (z.B. die Abschnitte 2.1., 2.2., 3.2. und 4.2.).
Der gesamte Stoff ist in vier Hauptabschnitte unterteilt. Der erste enthält die Grund-
lagen der Wahrscheinlichkeitsrechnung einschließlich der Grundlagen der Theorie stocha-
stischer Prozesse mit stetiger Zeit. Der zweite Hauptabschnitt enthält die Anwendungen
im Zusammenhang mit statischen Systemen. Im dritten und vierten Hauptabschnitt wird
eine gegenüber der vorhergehenden Auflage [24] stärker ausgebaute Darstellung der Zu-
sammenhänge von zufälligen Prozessen und dynamischen Systemen gegeben, wobei sowohl
zeitkontinuierliche als auch zeitdiskrete Prozesse und Systeme betrachtet werden. Um dem
Charakter dieses Buches als Lehrbuch zu entsprechen, wurden die Abschnitte mit zahl-
reichen Beispielen und Üb~ngsauf~abeanus gestattet, deren Lösungen in einem fünften
Hauptabschnitt zusammengefasst sind.
Dresden, im Juni 2005
G. Wunsch H. Schreiber
Formelzeichen
(zufällige) Ereignisse
zu A komplementäres Ereignis
Ereignisraum (U-Algebra über R)
Menge aller Zufallsgrößen auf (0,A , P)
Menge aller zufälligen Prozesse auf (0,A , P)
Systemniatrizen (lineares dynamisches System)
zur Matrix A transponierte Matrix
Borel-Mengen-System (0-Algebra über PS)
Kovarianzmatrix des Prozesses X
Kovarianz der Zufallsgrößen X und Y
Kovarianzmatrix der Vektorprozesse X und Y
Determinate der Matrix A
Erwartungswert von X, Mittelwert
Moment n-ter Ordnung
Überführungsoperator
Überf~hrun~sfunktionE,r gebnisfunktion
bedingte Dichtefunktion
Dichtefunktion der Zufallsgröße X
Dichtefunktion des zufälligen Prozesses X
Verteilungsfunktion der Zufallsgröße X
Verteilungsfunktion des zufälligen Prozesses X
Gewichtsfunktion, Impulsantwort (lineares System)
Übertragungsfunktion (lineares System)
Übertrapngsmatrix (im Bildbereich der Fourier-Transformation)
zu G(jw) konjugierte Matrix
zu G(jw) transponierte Matrix
Übertrag~n~smatri(ixm Bildbereich der Laplace-Transformation),
Übertrag~n~smatri(ixm Bildbereich der 2-Transformation),
Gewichtsmatrix, Ubertragungsmatrix im Originalbereich
relative Häufigkeit von A bei n Versuchen
im quadratischen Mittel
reelles Intervall
Häufigkeit von A bei n Versuchen
Grenzwert im (quadratischen) Mittel
Menge aller Zufallsgrößen mit E(X2)< cc
Mengensystem
Mengen
Erwartungswert von X, Mittelwert
Menge der natürlichen Zahlen
Menge aller Abbildungen von M in N
Wahrscheinlichkeitsmaß auf A
Wahrscheinlichkeit des Ereignisses A
Wahrscheinlichkeit von A unter der Bedingung B
Potenzmenge der Menge M
Wahrscheinlichkeitsmaß auf B, Verteilung der Zufallsgröße X
Verteilung des Prozesses X
Wahrscheinlichkeit, dass X einen Wert kleiner als E annimmt
Ergebnisfunktion (stochastischer Automat)
Menge der nicht negativen reellen Zahlen
R Menge der reellen Zahlen
(JBR, P x) spezieller Wahrscheinlichkeitsraum
Sx (Auto-)Korrelationsfunktion des Prozesses X
SXY Kreuzkorrelationsfunktion der Prozesse X und Y
sx Leistungsdichtespektrum des Prozesses X
SXY Kreuzleistungsdichtespektrum der Prozesse X und Y
Var (X) Varianz der Zufallsgröße X
W Verhaltensfunktion (stochastischer Automat)
X = X(w) Wert der Zufallsgröße X
X = (X1>.. . ,Xn) zufälliger Vektor, n-dimensionale Zufallsgröße
X = (21, ..., xn) n-Tupel, Wert des zufälligen Vektors X (X(w) = X)
X Menge der zufälligen Vektoren X = (XI,. . . , X,)
X zufälliger Prozess
X = X(w) Realisierung des Prozesses X
X=(X1,. . . ,Xn) Vektorprozess
-X Menge der Vektorprozesse X = (X1,.. . , X1)( Eingabe)
IlXll Norm der Zufallsgröße X
X Ableitung i.q.M. des Prozesses X
x(t) Wert der Realisierung X an der Stelle t
4t) zeitlicher Mittelwert der Realisierung X
Xt =X(t) zur Zeit t betrachteter zufälliger Prozess X, Zufallsgröße
X,Y, ... Zufallsgrößen, zufällige Veränderliche
U Menge der zufälligen Vektoren Y = (Yi,. . . ,Y,)
-M Menge der Vektorprozesse Y = (Yl, . . . , Y,) (Ausgabe)
Menge der Vektorprozesse Z = (21,. . . , Zn) (Zustand)
Menge der ganzen Zahlen
Sprungfunktion, Sprungsignal
Dirac-Funktion, Impulssignal
Funktionaldeterminate
Klasseneinteilung der Menge M
Korrelationskoeffizient der Zufallsgrößen X und Y
Korrelationsmatrix des zufälligen Vektors X
Überführ~n~sfunktio(nst ochastischer Automat)
einfache Alphabetabbildung (statisches System)
Alphabetabbildung (statisches System), Systemabbildung
einfache Realisierungsabbildung, Prozessabbildung
Realisierungsabbildung, Prozessabbildung
Abbildung p von M in N
charakteristische Funktion der Zufallsgröße X
charakteristische Funktion des Prozesses X
Fundamentalmatrix (im Originalbereich)
Fundamentalmatrix (im Bildbereich der Laplace-Transformation)
Elementarereignis, Kreisfrequenz (je nach Zusammenhang)
sicheres Ereignis, Kreisfrequenz (je nach Zusammenhang)
Ereignisraum
Wahrscheinlichkeitsraum
unmögliches Ereignis
Elementrelation („ist Element von")
folgt (bei Aussagen)
ist äquivalent (bei Aussagen)
ist Teilmenge von, ist enthalten in
Vereinigung (bei Mengen), Summe (bei Ereignissen)
Durchschnitt (bei Mengen), Produkt (bei Ereignissen)
mehrfache Vereinigung
mehrfacher Durchschnitt
Differenz (bei Mengen und Ereignissen)
kartesisches Produkt (bei Mengen)
Verkettung, Komposition von Abbildungen
Faltung (bei reellen Funktionen)
Äquivalenz (bei Zufallsgrößen)
Wortverkettung (Aneinanderfügung)
Inhaltsverzeichnis
1 Mathematische Grundlagen 3
1.1 Ereignis und Wahrscheinlichkeit . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.1 Ereignisraum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.1.1 Elementarereignis . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.1.2 Ereignisse . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1.1.3 Ereignisraum . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.1.2 Wahrscheinlichkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.1.2.1 Relative Häufigkeit . . . . . . . . . . . . . . . . . . . . . . 9
1.1.2.2 Wahrscheinlichkeit . . . . . . . . . . . . . . . . . . . . . . 10
1.1.2.3 Rechenregeln . . . . . . . . . . . . . . . . . . . . . . . . 11
1.1.3 Bedingte Wahrscheinlichkeit . . . . . . . . . . . . . . . . . . . . . . 13
1.1.3.1 Bedingte relative Häufigkeit . . . . . . . . . . . . . . . . . 13
1.1.3.2 Bedingte Wahrscheinlichkeit . . . . . . . . . . . . . . . . . 13
1.1.3.3 Unabhängige Ereignisse . . . . . . . . . . . . . . . . . . . 14
1.1.4 Aufgaben zum Abschnitt 1.1 . . . . . . . . . . . . . . . . . . . . . . 15
1.2 Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.2.1 Eindimensionale Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . 17
1.2.1.1 Messbare Abbildungen . . . . . . . . . . . . . . . . . . . . 17
1.2.1.2 Verteilungsfunktion . . . . . . . . . . . . . . . . . . . . . . 19
1.2.1.3 Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.2.1.4 Dichtefunktion . . . . . . . . . . . . . . . . . . . . . . . . 24
1.2.2 Mehrdimensionale Zufallsgrößen . . . . . . . . . . . . . . . . . . . . 26
1.2.2.1 Verteilungsfunktion . . . . . . . . . . . . . . . . . . . . . . 26
1.2.2.2 Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
1.2.2.3 Dichtefunktion . . . . . . . . . . . . . . . . . . . . . . . . 30
1.2.3 Bedingte Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . 32
1.2.3.1 Randverteilungsfunktion . . . . . . . . . . . . . . . . . . . 32
1.2.3.2 Bedingte Verteilungsfunktion . . . . . . . . . . . . . . . . 33
1.2.3.3 Unabhängige Zufallsgrößen . . . . . . . . . . . . . . . . . 36
1.2.4 Momente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
1.2.4.1 Erwartungswert . . . . . . . . . . . . . . . . . . . . . . . . 37
1.2.4.2 Varianz . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
1.2.4.3 Kovarianz . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.2.4.4 Charakteristische Funktion . . . . . . . . . . . . . . . . . 43
1.2.5 Aufgaben zum Abschnitt 1.2 . . . . . . . . . . . . . . . . . . . . . . 45
XI1 INHALTSVERZEICHNIS
1.3 Zufällige Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
1.3.1 Definition und Eigenschaften . . . . . . . . . . . . . . . . . . . . . . 48
1.3.1.1 Prozess und Realisierung . . . . . . . . . . . . . . . . . . . 48
1.3.1.2 Verteilungsfunktion und Verteilung . . . . . . . . . . . . . 53
1.3.1.3 Vektorprozesse . . . . . . . . . . . . . . . . . . . . . . . . 56
1.3.1.4 Momente . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
1.3.2 Spezielle Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
1.3.2.1 Stationäre Prozesse . . . . . . . . . . . . . . . . . . . . . . 61
1. 3.2.2 Markovsche Prozesse . . . . . . . . . . . . . . . . . . . . . 66
1.3.2.3 Gaußsche Prozesse . . . . . . . . . . . . . . . . . . . . . . 68
1.3.3 Aufgaben zum Abschnitt 1.3 . . . . . . . . . . . . . . . . . . . . . . 70
2 Statische Systeme
2.1 Abbildungen von Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . . . .
2.1.1 Determinierte statische Systeme . . . . . . . . . . . . . . . . . . . .
2.1 .1 .1 Determinierte Zufallsgrößen-Abbildung . . . . . . . . . . .
2.1.1.2 Verteilungs- und Dichtefunktion am Systemausgang . . . .
2.1.1.3 Erwartungswert am Systemausgang . . . . . . . . . . . . .
2.1.2 Stochastische statische Systeme . . . . . . . . . . . . . . . . . . . .
2.1.2.1 Stochastische Zufallsgrößen-Abbildung . . . . . . . . . . .
2.1.2.2 Systemmodell . . . . . . . . . . . . . . . . . . . . . . . . .
2.1.2.3 Bedingter Erwartungswert . . . . . . . . . . . . . . . . . .
2.1.3 Aufgaben zum Abschnitt 2.1 . . . . . . . . . . . . . . . . . . . . . .
2.2 Abbildungen zufälliger Prozesse . . . . . . . . . . . . . . . . . . . . . . . .
2.2.1 Prozessabbildungen statischer Systeme . . . . . . . . . . . . . . . .
2.2.1.1 Determinierte Prozessabbildung . . . . . . . . . . . . . . .
2.2.1.2 Transformation der Dichtefunktion . . . . . . . . . . . . .
2.2.1.3 Korrelationsfunktion am Systemausgang . . . . . . . . . .
2.2.2 Stochastische Prozessabbildung . . . . . . . . . . . . . . . . . . . .
2.2.3 Aufgaben zum Abschnitt 2.2 . . . . . . . . . . . . . . . . . . . . . .
3 Dynamische Systeme mit kontinuierlicher Zeit 101
3.1 Analysis zufälliger Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . 101
3.1.1 Stetigkeit zufälliger Prozesse . . . . . . . . . . . . . . . . . . . . . . 101
3.1.1.1 Konvergenz im quadratischen Mittel . . . . . . . . . . . . 101
3.1.1.2 Stetigkeit im quadratischen Mittel . . . . . . . . . . . . . 104
3.1.2 Ableitung und Integral . . . . . . . . . . . . . . . . . . . . . . . . . 106
3.1.2.1 Differenziation im quadratischen Mittel . . . . . . . . . . .1 06
3.1.2.2 Integration im quadratischen Mittel . . . . . . . . . . . . . 108
3.1.3 Aufgaben zum Abschnitt 3.1 . . . . . . . . . . . . . . . . . . . . . . 1 10
3.2 Determinierte lineare Systeme . . . . . . . . . . . . . . . . . . . . . . . . . 111
3.2.1 Prozessabbildungen determinierter linearer Systeme . . . . . . . . . 111
3.2.1.1 Zustandsgleichungen . . . . . . . . . . . . . . . . . . . . . 111
3.2.1.2 Stationäre Prozesse . . . . . . . . . . . . . . . . . . . . . . 117
3.2.1.3 Stationäre Gaußprozesse . . . . . . . . . . . . . . . . . . . 123
INHALTSVERZEICHNIS XI11
3.2.2 Anwendungen stationärer Prozesse . . . . . . . . . . . . . . . . . . 1 26
3.2.2.1 Ergodizität . . . . . . . . . . . . . . . . . . . . . . . . . . 126
3.2.2.2 Messschaltungen . . . . . . . . . . . . . . . . . . . . . . . 127
3.2.2.3 Rauschanalyse . . . . . . . . . . . . . . . . . . . . . . . . 129
3.2.2.4 OptimaHlter . . . . . . . . . . . . . . . . . . . . . . . . . 136
3.2.3 Aufgaben zum Abschnitt 3.2 . . . . . . . . . . . . . . . . . . . . . . 143
4 Dynamische Systeme mit diskreter Zeit 147
4.1 Zufällige Prozesse mit diskreter Zeit . . . . . . . . . . . . . . . . . . . . . . 147
4.1.1 Definition und Eigenschaften . . . . . . . . . . . . . . . . . . . . . . 147
4.1.1.1 Prozess und Klassifizierung . . . . . . . . . . . . . . . . . 1 47
4.1.1.2 Momente zeitdiskreter Prozesse . . . . . . . . . . . . . . . 149
4.1.2 Stationäre zeitdiskrete Prozesse . . . . . . . . . . . . . . . . . . . . 150
4.1.2.1 Korrelationsfolge . . . . . . . . . . . . . . . . . . . . . . . 150
4.1.2.2 Leistungsdichtespektrum . . . . . . . . . . . . . . . . . . . 151
4.1.3 Aufgaben zum Abschnitt 4.1 . . . . . . . . . . . . . . . . . . . . . . 155
4.2 Determinierte lineare Systeme . . . . . . . . . . . . . . . . . . . . . . . . . 155
4.2.1 Zeitvariables und zeitinvariantes System . . . . . . . . . . . . . . . 155
4.2.1.1 Zeitvariables System . . . . . . . . . . . . . . . . . . . . . 155
4.2.1.2 Zeitinvariantes System . . . . . . . . . . . . . . . . . . . . 160
4.2.2 Anwendungen stationärer zeitdiskreter Prozesse . . . . . . . . . . . 1 64
4.2.2.1 Quantisierungsrauschen . . . . . . . . . . . . . . . . . . . 164
4.2.2.2 Vorgeschriebene Korrelationsfolge . . . . . . . . . . . . . . 166
4.2.3 Aufgaben zum Abschnitt 4.2 . . . . . . . . . . . . . . . . . . . . . . 167
4.3 Stochastische Automaten . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
4.3.1 Automatenbedingung und stochastischer Operator . . . . . . . . . .1 69
4.3.1.1 Automatenklassen . . . . . . . . . . . . . . . . . . . . . .16 9
4.3.1.2 Stochastischer Operator . . . . . . . . . . . . . . . . . . . 171
4.3.2 Automatendarstellung . . . . . . . . . . . . . . . . . . . . . . . . . 173
4.3.2.1 Überführungs- und Ergebnisfunktion . . . . . . . . . . . . 173
4.3.2.2 Verhaltensfunktion . . . . . . . . . . . . . . . . . . . . . . 175
4.3.2.3 Matrixdarstellung . . . . . . . . . . . . . . . . . . . . . . 178
4.3.3 Aufgaben zum Abschnitt 4.3 . . . . . . . . . . . . . . . . . . . . . . 180
5 Lösungen zu den Übungsaufgaben 181
5.1 Lösungen der Aufgaben zum Abschnitt 1.1 . . . . . . . . . . . . . . . . . . 181
5.2 Lösungen der Aufgaben zum Abschnitt 1.2 . . . . . . . . . . . . . . . . . . 182
5.3 Lösungen der Aufgaben zum Abschnitt 1.3 . . . . . . . . . . . . . . . . . . 189
5.4 Lösungen der Aufgaben zum Abschnitt 2.1 . . . . . . . . . . . . . . . . . . 191
5.5 Lösungen der Aufgaben zum Abschnitt 2.2 . . . . . . . . . . . . . . . . . . 194
5.6 Lösungen der Aufgaben zum Abschnitt 3.1 . . . . . . . . . . . . . . . . . . 198
5.7 Lösungen der Aufgaben zum Abschnitt 3.2 . . . . . . . . . . . . . . . . . . 200
5.8 Lösungen der Aufgaben zum Abschnitt 4.1 . . . . . . . . . . . . . . . . . . 206
5.9 Lösungen der Aufgaben zum Abschnitt 4.2 . . . . . . . . . . . . . . . . . . 207
5.10 Lösungen der Aufgaben zum Abschnitt 4.3 . . . . . . . . . . . . . . . . . . 210
