Einführung in die Bayes-Statistik

233 Pages·2000·7.12 MB·German

by  Professor Dr.-Ing.

Einführung in die Bayes-Statistik
Springer-Verlag Berlin Heidelberg GmbH
Karl-Rudolf Koch
Einführung
in die Bayes-Statistik
Mit 17Abbildungen
, Springer
Professor Dr.-Ing., Dr.-Ing. E.h. mult. Karl-Rudolf Koch
Institut fiir Theoretische Geodasie
der Universitat Bonn
NuBallee 17
53115 Bonn
E-mail: [email protected]
Die Deutsche Bibliothek -CIP-Einheitsaufnahme
Koch, Karl-Rudolf:
Einftihrung in die Bayes-Statistik 1 Karl-RudolfKoch. -Berlin; Heidelberg; New York; Barcelona;
Hongkong; London; Mailand; Paris; Singapur; Tokio: Springer. 2000
ISBN 978-3-642-63078-1 ISBN 978-3-642-56970-8 (eBook)
DOI 10.1007/978-3-642-56970-8
Dieses Werk ist urheberrechdich geschiitzt. Die dadurch begriindeten Rechte. insbesondere die der
Obersetzung. des Nachdrucks. des Vortrags. der Entnahme von Abbildungen und Tabellen. der Funk
sendung. der MikroverfIlmung oder der Vervielfăltigung auf anderen Wegen und der Speicherung in
Datenverarbeitungsanlagen. bleiben. auch bei nur auszugsweiser Verwertung. vorbehalten. Eine Ver
vielfăltigung dieses Werkes oder von Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen
der gesetzlichen Bestimmungen des Urheberrechtgesetzes der Bundesrepublik Deutschland vom 9. Sep
tember 1965 in der jeweils geltenden Fassung zulăssig. Sie ist grundsătzlich vergiitungspflichtig. Zuwi
derhandlungen unterliegen den Strafbestimmungen des Urheberrechtgesetzes.
Die Wiedergabe von Gebrauchsnamen. Handelsnamen. Warenbezeichnungen usw. in diesem Werk be
rechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme. daB solche Namen im Sinne der
Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wăren und daher von jeder
mann benutzt werden diirften.
© Springer-Verlag Berlin Heidelberg 2000
Ur spriinglich erschienen bei Springer-Verlag Berlin Heidelberg New York 2000
Softcover reprint of the hardcover ISt edition 2000
Umschlaggestaltung: design & production GmbH. Heidelberg
Satz: Reproduktionsfertige Vorlage des Autors
SPIN: 10745741 32/3136xz - 543210 -Gedruckt auf săurefreiem Papier
Vorwort
Dieses Buch soll als Einführung in die Bayes-Statistik dienen, in deren Mit
telpunkt das Bayes-Theoremsteht. Mit ihm lassen sich die Schätzung unbe
kannter Parameter,die Festlegung von Konfidenzregionen für die unbekann
ten Parameter und die Prüfung von Hypothesen für die Parameter ableiten.
Der traditionellen Statistik ist dieser einfache und anschaulicheWegder Her
leitung versperrt, da sie sich nicht auf das Bayes-Theorem gründet. Insofern
besitzt die Bayes-Statistik einen wesentlichen Vorteilgegenüber der traditio
nellen Statistik.
Das Buch wendet sich an Leser, die vor der Aufgabe stehen, unbekannte
Parameter komplexer Systeme nicht nur zu schätzen, sondern die Ergeb
nisse durch Konfidenzregionen und Hypothesentests für die Parameter auch
statistisch zu beurteilen. Zum Verständnis des Buches sind lediglich Grund
kenntnisseder Analysisund derlinearenAlgebraerforderlich. Allerdings wird
nach einer kurzen Behandlung eindimensionaler Zufallsvariablen mit ihren
Wahrscheinlichkeitsverteilungen mehrdimensional gearbeitet, so daß Kennt
nisse der eindimensionalen Statistik hilfreich sein werden. Ebenso wird es
nützlich sein, mit Problemen der Parameterschätzung vertraut zu sein, ob
wohl an zahlreichen Beispielen die behandelten Methoden erläutert werden.
Die Bayes-Statistik nimmt eine Erweiterungdes Begriffsder Wahrschein
lichkeit vor, indem sie die Wahrscheinlichkeit für Aussagen definiert. Da
gegen beschränkt sich die traditionelle Statistik auf die Wahrscheinlichkeit
von zufälligen Ereignissen, die aus Zufallsexperimenten resultieren. Für die
Wahrscheinlichkeit von Aussagenlassensich durchlogischesund konsistentes
Schließen drei Gesetze ableiten, aus denen alle weiteren Gesetze der Wahr
scheinlichkeit entwickelt werden können. Hieraufwird im Kapitel2eingegan
gen. Dieses Kapitel enthält auch die Ableitung des Bayes-Theorems und der
Wahrscheinlichkeitsverteilungen für Zufallsvariable. Weiter sind allerdings
ohne Herleitung die im folgenden benötigten univariaten und multivaria
ten Verteilungen zusammengestellt. Schließlich werden noch die im Bayes
Theorem enthaltenen Priori-Dichten behandelt.
Im Kapitel 3 wird dann gezeigt, wie ausgehend vom Bayes-Theorem un
bekannteParametergeschätzt,Konfidenzregionen für unbekannte Parameter
festgelegt und Hypothesen für Parameter getestet werden. Die Anwendung
erfolgt im linearen Modell, dem das Kapitel 4 gewidmet ist. Es werden die
Fälle behandelt, daß der Varianzfaktor in der Kovarianzmatrix der Beobach
tungen bekannt oder unbekannt ist, daß nichtinformative oder informative
Priori-Dichten vorliegen und daß das Modell vollen oder nicht vollen Rang
besitzt.Einegegenüber Ausreißern robusteSchätzungund das KaimanFilter
VI Vorwort
werden außerdem abgeleitet.
SpezielleModelle und Methoden befinden sich im Kapitel 5. Neben dem
Modell der Prädiktion und Filterung und dem linearen Modell mit unbe
kannten Varianz- und Kovarianzkomponenten wird die Mustererkennung be
handelt und auf die Segmentierung digitaler Bilder eingegangen. Außerdem
werden Bayes-Netze entwickelt, die Entscheidungen in Systemen mit Unsi
cherheiten erlauben. Man setzt siezum Beispielin der automatischen Inter
pretation digitaler Bilder ein.
Wenn analytische Integrationen zur Parameterschätzung,zur Festlegung
von Konfidenzregionen oder zur Prüfung von Hypothesen nicht abgeleitet
werden können, sind numerische Methoden anzuwenden. Die beiden wich
tigsten sind die Monte-Carlo-Integration und die Monte-Carlo-Methode mit
Markoff-Ketten. Siewerden im Kapitel 6 behandelt.
Zur Erläuterung sind an vielen Stellen Beispiele eingefügt. Sie werden
a
mit dem Zeichen abgeschlossen und, wo es erforderlich ist, kapitelweise
numeriert.
Bei der Parameterschätzung im linearen Modell besitzt die traditionelle
Statistik Verfahren, die einfacher als die der Bayes-Statistik sind. Sie wer
den hier benutzt, um Ergebnisse abzuleiten, die benötigt werden. Statt also
Verfahren der traditionellen Statistik und der Bayes-Statistik getrennt von
einander zu behandeln, wie das im allgemeinen geschieht und wie es zum
Beispiel in den beiden Büchern des Autors "Parameter Estimation and Hy
pothesis Testing in Linear Models, 2nd Ed., Springer-Verlag, Berlin Heidel
berg NewYork, 1999" und "Bayesian Inference with Geodetic Applications,
Springer-Verlag,Berlin Heidelberg NewYork, 1990" zu finden ist, sollen auf
der Grundlage der Bayes-Statistik mit Ergänzungen aus der traditionellen
Statistik möglichst einfachund anschaulichMethoden abgeleitet werden, um
unbekannte Parameterzu schätzen und die Ergebnisse statistisch zu beurtei
len.
Durch Diskussionen mit Kollegen erhielt ich zahlreiche Anregungen zu
diesem Buch, wofür ich herzlich danken möchte. Mein Dank gilt auch den
Studentinnen und Studenten unserer Universität, dieVorschlägezur Verbes
serung des Buchesgemacht haben. Ebenso danken möchte ichden Mitarbei
terinnen und Mitarbeitern des Instituts für Theoretische Geodäsie, die mir
beim Entstehen desBuchesgeholfenhaben. Mein besonderer Dank gilt Frau
Dipl.-Ing. Brigitte Gundlich, die viele Anregungen zu dem Buch gegeben
hat, und Frau Ingrid Wahl für das Schreiben und die Gestaltung des Textes.
Schließlich möchte ich mich noch für die Vorschlägebedanken, die ich vom
Verlagerhalten habe.
Bonn, im August 1999 Karl-RudolfKoch
Inhaltsverzeichnis
1 Einleitung 1
2 Wahrscheinlichkeit 3
2.1 Gesetze der Wahrscheinlichkeit . . . . . . . 3
2.1.1 Deduktives und plausibles Schließen 3
2.1.2 Aussagenalgebra . . . . . . . . . . . 4
2.1.3 Bedingte Wahrscheinlichkeit. . . . . 5
2.1.4 Produkt- und Summengesetz der Wahrscheinlichkeit 6
2.1.5 Verallgemeinertes Summengesetz 7
2.1.6 Axiomeder Wahrscheinlichkeit . 10
2.1.7 Kettenregel und Unabhängigkeit 11
2.1.8 Bayes-Theorem...... . ... 13
2.1.9 Rekursive Anwendung des Bayes-Theorems 17
2.2 Verteilungen . .. . . . . . . 17
2.2.1 Diskrete Verteilung. 18
2.2.2 Stetige Verteilung . 19
2.2.3 Binomialverteilung. 22
2.2.4 Mehrdimensionale diskrete und stetige Verteilungen 23
2.2.5 Randverteilung . . . . . . . . . . . . . . . . . 25
2.2.6 Bedingte Verteilung . . . . . . . . . . . . . . 27
2.2.7 Unabhängige Zufallsvariable und Kettenregel 30
2.2.8 Verallgemeinertes Bayes-Theorem . 32
2.3 Erwartungswert, Varianz und Kovarianz 38
2.3.1 Erwartungswert . . . . . . . . . . . 38
2.3.2 Varianz und Kovarianz. . . . . . . 42
2.3.3 Erwartungswert einer quadratischen Form . 46
2.4 Univariate Verteilungen . 46
2.4.1 Normalverteilung . . . . . . . 46
2.4.2 Gammaverteilung. . . . . . . 48
2.4.3 Invertierte Gammaverteilung 49
2.4.4 Betaverteilung 49
2.4.5 X2-Verteilung 49
2.4.6 F-Verteilung . 50
2.4.7 t-Verteilung . . 50
2.4.8 Exponentialverteilung 51
2.4.9 Cauchy-Verteilung . . 52
2.5 Multivariate Verteilungen . . 52
2.5.1 Multivariate Normalverteilung 52
2.5.2 Multivariate t-Verteilung 54
2.5.3 Normal-Gammaverteilung... 56
2.6 Priori-Dichten . . . . . .. . ... . .. 57
2.6.1 Nichtinformative Priori-Dichten . 57
VIII Inhaltsverzeichnis
2.6.2 Priori-Dichten aus maximaler Entropie . 58
2.6.3 Konjugierte Priori-Dichten . 59
3 Parameterschätzung, Konfidenzregionenund Hypothesenprü-
fung 63
3.1 Bayes-Strategie ..... .... . .. 63
3.2 Punktschätzung . . . . . . . . . . . . 65
3.2.1 Quadratische Kostenfunktion 65
3.2.2 Kostenfunktion der absoluten Fehler 67
3.2.3 Null-Eins-Kosten 69
3.3 Bereichsschätzung 71
3.3.1 Konfidenzregion 71
3.3.2 Grenze einer Konfidenzregion 73
3.4 Hypothesenprüfung . . . . . . . . 74
3.4.1 VerschiedeneHypothesen . . 74
3.4.2 Test von Hypothesen . . . . . 75
3.4.3 SpeziellePriori-Dichten für Hypothesen 78
3.4.4 Test der Punkt-Nullhypothesen durch Konfidenzregionen 83
4 Lineares Modell 85
4.1 Definition und Likelihoodfunktion 85
4.2 Lineares Modellmit bekanntem Varianzfaktor . 89
4.2.1 Nichtinformative Priori-Dichte . . . . . 89
4.2.2 Methode der kleinsten Quadrate . . . . 93
4.2.3 Schätzung desVarianzfaktors inder traditionellen Sta-
tistik. . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.2.4 Lineares Modell mit Restriktionen der traditionellen
Statistik . . . . . . . . . . . . 96
4.2.5 Robuste Parameterschätzung 99
4.2.6 Informative Priori-Dichte . . 104
4.2.7 KaIman-Filter . .. ... .. . 108
4.3 Lineares Modellmit unbekanntem Varianzfaktor 111
4.3.1 Nichtinformative Priori-Dichte . 111
4.3.2 Informative Priori-Dichte . . . . 117
4.4 Lineares Modellmit nicht vollemRang . 122
4.4.1 Nichtinformative Priori-Dichte 122
4.4.2 Informative Priori-Dichte . . 125
5 Spezielle Modelle und Anwendungen 129
5.1 Prädiktion und Filterung 129
5.1.1 Modell der Prädiktion und Filterung als spezielles li-
neares Modell . . . . . . . . . . . . . . . . . . . 130
5.1.2 SpeziellesModellder Prädiktion und Filterung 135
5.2 Varianz- und Kovarianzkomponenten . 139
5.2.1 Modellund Likelihoodfunktion . . . . . . . . . 139
Inhaltsverzeichnis IX
5.2.2 Nichtinformative Priori-Dichte 143
5.2.3 Informative Priori-Dichte 143
5.2.4 Varianzkomponenten . . . . . . 145
5.3 Mustererkennung ... .. . . . . . .. 148
5.3.1 Klassifizierungmit der Bayes-Strategie . 149
5.3.2 Normalverteilungmit bekannten und unbekannten Pa-
rametern .. .. 150
5.3.3 Texturparameter . . . . . . 153
5.4 Bayes-Netze ... . . . . . . . . . . 157
5.4.1 Systeme mit Unsicherheiten 157
5.4.2 Aufbau eines Bayes-Netzes 158
5.4.3 Berechnung von Wahrscheinlichkeiten 162
5.4.4 Bayes-Netz in Form einer Kette. . . . 171
5.4.5 Bayes-Netz in Form eines Baumes .. 174
5.4.6 Bayes-Netz in Form eines Mehrfachbaumes 177
6 Numerische Verfahren 183
6.1 Generierung von Zufallswerten 183
6.1.1 Generierung von Zufallszahlen 183
6.1.2 Inversionsmethode . . . . . . . 184
6.1.3 Verwerfungsmethode . . . . . . 186
6.1.4 Generierungvon Werten normalverteilter Zufallsvaria-
blen . . . . . . . . . . . . . . . . . . . . . . . . . . .. 186
6.2 Monte-Carlo-Integration... ... . . .. . . . . .. . .. . . 187
6.2.1 Monte-Cario-Integration der wesentlichen Stichprobe. 187
6.2.2 Einfache Monte-Carlo-Integration . . . . . . . . . . .. 190
6.2.3 Berechnung von Schätzwerten,Konfidenzregionen und
Wahrscheinlichkeiten für Hypothesen . . . . . . 191
6.2.4 Bestimmung von Randverteilungen . . . . . . . 193
6.2.5 Konfidenzregionen für robuste Parameterschät-
zungen als Beispiel . . . . . . . . . . 196
6.3 Monte-Cario-Methode mit Markoff-Ketten . . . . . . . 204
6.3.1 Gibbs-Verfahren . . . . . . . . . . . . . . . . . 205
6.3.2 Berechnung von Schätzwerten, Konfidenzregionen und
Wahrscheinlichkeiten für Hypothesen . . . . . . . . .. 206
6.3.3 Bestimmung von Randverteilungen . . . . . . . . . .. 207
6.3.4 Fortsetzungdes Beispiels: Konfidenzregionen für robu-
ste Parameterschätzungen . . . . . . . . . . . . . . . . 210
Literatur 215
Sachverzeichnis 221
1 Einleitung
Die Bayes-Statistik besitzt gegenüber der traditionellen Statistik, die nicht
auf dem Bayes-Theorem beruht, den Vorzug, daß sie einfach zu begründen
und auch anschaulich ist. Durch Intuition infolge der Anschauung werden
daher Verfahren verständlich, die in der traditionellen Statistik den An
schein reiner Rechenanweisungen besitzen. Außerdem sind Probleme beson
ders imZusammenhang mit Hypothesenprüfungenoder Bereichsschätzungen,
die sich mit der traditionellen Statistik nicht lösen lassen, mit der Bayes
Statistik lösbar. Der Grund liegt darin, daß aufgrund des Bayes-Theorems
für die unbekannten Parameter Wahrscheinlichkeitsverteilungen angegeben
werden, mit denen die Parameterschätzung,die Hypothesenprüfung und die
Bereichsschätzung vorgenommen werden können. Die Bayes-Statistik wird
daher immer häufiger angewendet.
Die traditionelle Statistik führt Wahrscheinlichkeiten für zufällige Ereig
nisse ein, die aus Zufallsexperimenten resultieren. Die Wahrscheinlichkeiten
lassen sich dann als relative Häufigkeiten interpretieren. Dieser Wahrschein
lichkeitsbegriff muß in der Bayes-Statistik verallgemeinert werden, da, wie
oben erwähnt, Wahrscheinlichkeitsverteilungen für unbekannte Parameter
eingeführt werden. Diese Parameter können Konstanten repräsentieren, die
nicht das Ergebnis von Zufallsexperimenten darstellen. Die Wahrscheinlich
keit wird daher nicht nur für zufällige Ereignisse eingeführt, sondern ganz
allgemein für Aussagen. Sie beziehen sich im Falle unbekannter Parameter
auf die Werte der Parameter. Wahrscheinlichkeiten werden also nicht nur
als Häufigkeiten interpretiert,sierepräsentieren darüber hinaus die Plausibi
litäten vonAussagen. Der Zustand desWissensüber eine Aussagewirddurch
die Wahrscheinlichkeit ausgedrückt. Die Gesetze der Wahrscheinlichkeit er
geben sichdurch logischesund konsistentes Schließen.
Da den unbekannten Parametern Wahrscheinlichkeitsverteilungen zuge
ordnet werden, ist neben der Parameterschätzung auch die Methode der
Hypothesenprüfung in der Bayes-Statistik unmittelbar angebbar und leicht
nachvollziehbar. Intuitiv einsichtig ist auch die Angabe von Konfidenzberei
chen für die unbekannten Parameter aufgrund ihrer Wahrscheinlichkeitsver
teilungen. Dagegenfolgtin der traditionellen Statistik die Bereichsschätzung
aus der Hypothesenprüfung, dieihrerseits Testgrößen benötigt,dienicht ein
fach abzuleiten sind.
Die Vorzügeder traditionellen Statistik liegen bei den einfachen Verfah
ren der Parameterschätzung im linearen Modell. Diese Verfahren, die auch
in der Bayes-Statistik interpretierbar sind, werden hier zur Ergänzung der
Bayes-Verfahren ausführlich behandelt. Im linearen Modell liefern, wie ge-
K.-R. Koch, Einführung in die Bayes-Statistik
© Springer-Verlag Berlin Heidelberg 2000