Table Of ContentLectu re Notes in
Operations Research and
Mathematical Systems
Economics, Computer Science, Information and Control
Edited by M. Beckmann, Providence and H. P. Kunzi, Zurich
34
H. Stormer
Wissenschaftlicher Mitarbeiter der Siemens AG
Privatdozent der Technischen Hochschule Munchen
Semi-Markoff-Prozesse mit
endlich vielen Zustanden
Theorie und Anwendungen
Springer-Verlag
Berlin· Heidelberg· New York 1970
Advisory Board
H. Albach A. V. Balakrishnan F. Ferschl
W. Krelle . N. Wirth
ISBN 978-3-540-04957-9 ISBN 978-3-642-95165-7 (eBook)
DOl 10.1007/978-3-642-95165-7
This work is subject to copyright. All rights are reserved, whether the whole or part of the material is concerned,
specifically those of translation, reprinting, re-use of illustrations, broadcasting, reproduction by photocopying machine
or similar means, and storage in ,data banks.
Under § 54 of the German Copyright Law where copies are made for other than private use, a fee is payable to the publisher,
the amount of the fee to be determined by agreement with the publisher.
© by Springer-Verlag Berlin' Heideiberg1970. LibraryofCongress Catalog Card Number 77-133370.
Title No. 3783
Vorwort
Unter den stochastischen Prozessen sind die Semi-Mark off
Prozesse besonders geeignet zur Beschreibung einer gro6en
Anzahl von Zufallsvorgangen in Natur, Wirtschaft und Technik.
Man denke nur an Wachstumsprozesse, Lagerhaltungs- und Warte
schlangenprobleme oder Probleme der Zuverlassigkeit von Sy
stemen.
Die Semi-Markoff-Prozesse sind gekennzeichnet durch endlich
viele oder abzahlbar unendlich viele Zustande, durch die Uber
gangswahrscheinlichkeiten und durch die Verteilungsfunktionen
fUr die Zustandsdauern. Sie enthalten als Spezialfalle die
Klasse der Erneuerungsprozesse (ein einziger Zustand), die
Klasse der Markoff-Ketten (konstante gleiche Zustandsdauer
aller Zustande) und der Markoff-Prozesse mit stetigem Zeit
parameter (negativ-exponentielle Verteilung der Zustands
dauern).
Dieser Bericht enthalt im ersten Teil einen Abri6 der Erneue
rungstheorie, deren Ergebnisse die wesentlichen mathematischen
Hilfsmittel fUr die Behandlung der Semi-Markoff-Prozesse lie
fern. Im zweiten Teil werden die fUr die Anwendungen wichtig
sten Resultate der Theorie der Semi-Markoff-Prozesse hergelei
tet. Bekannte Ergebnisse werden mit Namen zitiert. Die Unter
suchung beschrankt sich auf die Semi-Markoff-Prozesse mit end
lich vielen Zustanden, weil sie fUr die Anwendungen besondere
Bedeutung haben und sich mit den einfachen Mitteln des Matrizen
kalkUls behandeln lassen.
Der Verfasser dankt Herrn Professor Dr. M. Beckmann fUr das
freundliche Angebot, diese Arbeit in die Lecture Notes in
Operations Research and Mathematical Systems aufzunehmen.
FUr die sorgfaltige Anfertigung des Maschinenskriptums ist
er Frau M. Zech zu Dank verpflichtet, ebenso Herrn U. Voges
fUr zahlreiche Korrekturhinweise.
Inhaltsverzeichnis
1. Erneuerungstheoretische Grundlagen ••••••••••••••••••••• 1
1 .1. Einlei tung .......... '. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2. Erneuerungsprozesse •••••••••••••••••••••••••••••••••• '1
1.2.1. Definition eines Erneuerungsprozesses •••••••••••••• 1
1 "2.2. Die Anzahl der Erneuerungen •••••••••••••••••••••••• 2
1 .2.3. Die Erneuerungsfunktion ••••••••••• • • • • • • • • • • • • • • • • . 4
1.2.4. Die Erneuerungsdichte •••••••••••••••••••••••••••••• 5
1.2.5. Die Laplace-Transformierten von Erneuerungs-
funktion und Erneuerungsdichte ••••••••••••••••••••• 7
1.2.6. Charakterisierung der stationaren,Erneuerungs-
prozesse. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.7. Der Poissonproze13 ••, ................................ 9
1.2.8. Die Verteilung der Anzahl der Erneuerungen in
einem Intervall .................................... 11
1.2.9. Die Zeit bis zur nachsten Erneuerung •••••.••••••••• '11
· ..................................... .
1.3. Grenzwertsatze 15
·. ............................. ....... .
1.3.1. Vorbemerkung '15
'
1.3.2. Der verallgemeinerte Satz von Blackwell •••••••••••• 16
1.3.3. Der Fundamentalsatz der Erneuerungstheorie ••••••••• 16
1.3.4. Grenzwertsatz fUr die Verteilung der Zeit bis
zur nachsten Erneuerung •••••••••••••••••••••••••••• 1'/
1.3.5. Grenzwertsatz fUr die ••••••••••
~rneuerungsfunktion 18
1.3.6. Grenzwertsatz fUr die Erneuerungsdichte ••••••••••••
20
1.3.7. Grenzwertsatz fUr die mittlere Zeit bis zur
nachsten Erneuerung •••••••••••••••••••••••••••••••• 20
1.4. Berechnung von Erneuerungsfunktionen •••••••••••••••••
21
................
1.5. Uberlagerung von Erneuerungsprozessen
24
................
2. Beschreibung von Semi-Markoff-Prozessen
26
...............................
2.1. Stochastische Prozesse
·. .................................... . ~6
2.2. Markoff-Ketten
26
2.3. Semi-Markoff-Prozesse ••••••••••••••••••••••••.•••••••
~9
2.4. Zustandsklassen ..................................... . j2
VI
3. Stochastische Matrizen ••••••••••••••••••••••••••••••••• 34
..........
4. Verteilung von Wartezeiten nach Erneuerungen 41
4.1. Das allgemeine Gleichungssystem und seine Losung ••••• 41
4 • 2. Momen te •••••••.••••••••••••••••••••••••••••••••••••• 45
4.3. Spezialisierungen ................................... . 48
4.3.1. Wartezeit bis zur nachsten k-Erneuerung •••••••••••• 48
4.3.2. Abstandeder k-Erneuerungen ••••••••••••••••••••••••• 49
4.3.3. Wartezeit bis zum nachsten h-k-Ubergang ••••••••••• 51
4.3.4. Abstande der h-k-Ubergange •••••••••••••••••••••••• 5,
.....................................
4.3.5. Verweildauern 54
4.3.6. Verweildauern in einer Klasse ••••••••••••••••••••• 55
4.3.7. Einige Identitaten •••••••••••••••••••••••••••••••• 56
5. Verteilung von Anfangswartezeiten •••••••••••••••••••••
5.1. Die allgemeine Gleichung •••••••••••••••••••••••••••• 58
5.2. Spezialisierungen ••.•••....•...••..••••.•••••••..••• 60
5.2.1. Wartezeit bis zur ersten k-Erneuerung •••••••••••••• 60
5.2.2. Wartezeit bis zum ersten h-k-Ubergang ••••••••••••• 61
5.2.3. Bedingte Verweildauern •••••••••••••••••••••••••••• 62
6. Eingebettete Erneuerungsprozesse in stationaren
Semi-Markoff-Prozessen •••••••••••••••••••••••••••••••• 64
6. 1. h-k-Ubergange .••...........................•..•..... 64
6 • 2. k-Erneuerungen ...................................... 67
7. Zustandswahrscheinlichkeiten in stationaren
Semi-Markoff-Prozessen •••••••••••••••••••••••••••••••• 68
8. Vergroberungen stationarer Semi-Markoff-Prozesse •••••• 70
8.1. Bedingte Verweildauern •••••••••••••••••••••••••••••• 70
8.2. Zustandswahrscheinlichkeiten •••••••••••••••••••••••• 76
8.3. Abstande von KlassenUbergangen •••••••••••••••••••••• 81
8.4. Die triviale Vergroberung ••••••••••••••••••••••••••• 85
9. Grenzwertsatze fUr nichtstationare Semi-Markoff-
Prozesse und Vergroberungen ••••••••••••••••••••••••••• 86
9.1 •. Zustandswahrscheinlichkeiten •••••••••••••••••••••••• 86
9.2. Bedingte Verweildauern •••••••••••••••••••••••••••••• 88
VII
10. Hinreichende Bedingungen fUr die Gultigkeit
der Grenzwertsatze •...•..••••••..•••••.•••••••••••...• 93
10.1. Gitterformige und arithmetische Verteilungs-
fun.ktionen ..................•......•..••.•.......... 93
10.2. Faltung von Verteilungsfun.ktionen ••••••••••••••••••• 98
10.3. Mischung von Verteilungsfunktionen •••••••••••••••••• 100
10.4. Verteilungsfun.ktionen der Erneuerungsabstande ••••••• 101
10.5. Erneuerungsdichten •••••••••••••••••••••••••••••••••• 102
11. Spezielle Semi-Markoff-Prozesse und Anwendungen ••••••• 104
11 .1. Markoffprozesse ••••••••••••••••••••••••••••••••••••• 104
11.1.1. Zustandswahrscheinlichkeiten und mittlere
tlbergangsabstande ••••••••••••••••••••••••••••••••• 106
11 .1.2. Aufenthal tsdauern ••••••••••••••••••••••••••••••••• 107
11.1.2.1. Momente der Aufenthaltsdauern ••••••••••••••••••• 109
11.1.3. Beispiel •••••••••••••••••••••••••••••••••••••••••• 111
11.2. Verallgemeinerte Geburt- und Tod-Prozesse
(birth and death processes) •••••••••••••••••••••••• 118
11.3. Geburt- und Tod-Prozesse •••••••••••••••••••••••••••• 122
12. Nicht behandelte Probleme ••••••••••••••••••••••••••••• 125
Llteratur ................................................ 127
- 1 -
1. Erneuerungstheoretische Grundlagen
1.1. Einleitung
In der Erneuerungstheorie werden Erneuerungsprozesse untersucht,
das sind spezielle Punktprozesse, die man anschaulich deuten
kann etwa als eine Folge von zufalligen Zeitpunkten, in denen
jeweils ein Element (z.B. ein Bauelement) nach seinem Ausfall
durch ein neues ersetzt wird. Solche Prozesse haben Bedeutung
ftir die Beschreibung einer Reihe von Zufallsvorgangen (Ankunft
von Telefonanrufen an einer Vermittlung, Auftreten von Unfallen,
Ausfallvorgange bei technischen Anlagen, usw.). Dartiber hinaus
lassen sich viele Fragen, die"bei den spater zu behandelnden
allgemeineren Semi-Markoff-Prozessen auftreten, auf die Behand
lung von eingebetteten Erneuerungsprozessen zurtickftihren. Wegen
der mathematischen Grundlagen der stochastischen Prozesse sei
z.B. auf ~Bauer_7 oder ~Krickeberg_7 verwiesen.
1.2. Erneuerungsprozesse
1.2.1. Definition eines Erneuerungsprozesses
Es seien X1,X2,X3, ••• unabhangige reelle zufallige GroSen. Die
Verteilungsfunktion von X1 sei F1(x), wahrend X2,X3, ••• die
gemeinsame Verteilungsfunktion F(x) haben. Es sei
= =
F1(X) F(x) 0 ftirx~O ( 1.1)
(die GroSen X1,X2, ••• sind also mit Wahrscheinlichkeit 1 posi
tiv) •
Dann bilden die zufalligen GroSen
n
Sn = J:: Xi' n = 1,2, ••• ( 1.2)
1=1
einen ErneuerungsprozeS.
- 2 -
Anschaulich kann man die Sn(n = 1,2, ••• ) als Zeitpunkte von
Erneuerungen deuten. Die erste Erneuerung findet zur Zeit
S1 = X1 statt. Der Abstand zwischen der (n-1)-ten und der
n-ten Erneuerung (n > 1) ist Xn• Die Xn (n ~ 2) nennen wir
Erneuerungsabstande. Ein ErneuerungsprozeB heiBt ~~!~~!!£h,
wenn
F1 (x) == F(x) ( 1 .3)
ist; er heiBt ~!~!!~~~£, wenn
x
F1(x) = 1 }[1-F(Y)] dy (1.4 )
1.1. 0
mit
00
1.1.= )c1-F(Y)] dy = E(X2) = E(X3) = ( 1 .5)
o
gilt (vgl. 1.2.6.).
1.2.2. Die Anzahl der Erneuerungen
Mit N(t) bezeichnen wir fur t > 0 die Anzahl der Erneuerungen
im Intervall 0 < x t. Es gilt also
~
N( t) = max (i: S. "5. t) • ( 1 .6)
1. -
Bei festem t > 0 ist N(t) eine diskrete zufallige GroBe, die
die Werte 0,1,2, ••• annehmen kann. Ihre Verteilung hangt von
der Verteilung der Si(i=1,2, ••. ) abo Offenbar ist N(t) dann
und nur dann hochstens gleich n, wenn Sn+1 groBer als t ist:
( 1 .7)
Wir bezeichnen mit Fn(x) jetzt die Verteilungsfunktion von Sn!
( 1 .8)
- 3 -
Fur n > 1 entsteht Fn(x) durch Faltung der Verteilungsfunktio
nen Fn_1(x) und F(x):
x
Fn(X) = ~ F 1(x-y) dF(y) • ( 1.9)
o n-
(AIle hier benutzten Integrale sind als Lebesgue-Integrale
bzw. Lebesgue-Stieltjes-Integrale (Radon-Stieltjes-Integrale)
zu interpretieren. In den praktisch wichtigen Fallen existieren
fast immer die entsprechenden Riemann-Integrale bzw. Riemann
Stieltjes-Integrale und sind mit den Lebesgue-Integralen bzw.
Lebesgue-Stieltjes-Integralen identisch. Der mit Lebesgue-Inte
gralen nicht vertraute Leser kann also ohne Bedenken aIle Inte
grale im Riemannschen Sinn auffassen.)
Zur Abktlrzung schreiben wir hiefur auch
(1.10)
Wenn zu F(x) eine Wahrscheinlichkeitsdichte f(x) gehort, d.h.
wenn
x
F(x) = ~ fey) dy (1.11)
0
gilt, so erhalt (1.9) die Gestalt
x
Fn(X) = ~ F 1 (x-y) fey) dy • (1.12)
o n-
Gehort auch zu F (x) eine Wahrscheinlichkeitsdichte f (x),
1 1
gilt also
x
F1(x) = ~ f 1(y)dy , (1.13)
o
so hat Sn die Wahrscheinlichkeitsdichte fn(X), die fur
=
n 2,3, ••• der Rekursionsformel
x
fn(x) = ~ fn_1(x-y)f(y) dy ( 1.14)
- 4 -
oder
(1.15)
genUgt.
Statt (1.7) konnen wir nun
(1.16)
schreiben, woraus wegen
sofort
(1.17)
=
n = 0,1, •.. mit Fo(t) 1
folgt.
1.2.3. Die Erneuerungsfunktion
Den Erwartungswert von N(t) nennen wir die ~E~~~~E~~~f~~=
tion. Wir bezeichnen sie mit R(t):
R(t) = E[N(t)] (1.18)
Aus (1.17) folgt sofort
(1.19)
FUr R(t) gilt stets ~Feller II, S.183_7
H( t) < 00 • ( 1 .20)
