Table Of ContentMarkov Chains
Idedicatethisbookespeciallytotwoexceptionalpeople,
myfatherandmymother.
Markov Chains
Theory, Algorithms and Applications
Bruno Sericola
Series Editor
Nikolaos Limnios
Firstpublished2013inGreatBritainandtheUnitedStatesbyISTELtdandJohnWiley&Sons,Inc.
Apart from any fair dealing for the purposes of research or private study, or criticism or review, as
permittedundertheCopyright,DesignsandPatentsAct1988,thispublicationmayonlybereproduced,
storedortransmitted,inanyformorbyanymeans,withthepriorpermissioninwritingofthepublishers,
or in the case of reprographic reproduction in accordance with the terms and licenses issued by the
CLA. Enquiries concerning reproduction outside these terms should be sent to the publishers at the
undermentionedaddress:
ISTELtd JohnWiley&Sons,Inc.
27-37StGeorge’sRoad 111RiverStreet
LondonSW194EU Hoboken,NJ07030
UK USA
www.iste.co.uk www.wiley.com
©ISTELtd2013
The rights of Bruno Sericola to be identified as the author of this work have been asserted by himin
accordancewiththeCopyright,DesignsandPatentsAct1988.
LibraryofCongressControlNumber: 2013936313
BritishLibraryCataloguing-in-PublicationData
ACIPrecordforthisbookisavailablefromtheBritishLibrary
ISBN:978-1-84821-493-4
PrintedandboundinGreatBritainbyCPIGroup(UK)Ltd.,Croydon,SurreyCR04YY
Table of Contents
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix
Chapter1.Discrete-TimeMarkovChains . . . . . . . . . . . . . . . . . . . . 1
1.1.Definitionsandproperties . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2.StrongMarkovproperty . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3.Recurrentandtransientstates . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4.Stateclassification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.5.Visitstoastate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.6.Statespacedecomposition . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.7.IrreducibleandrecurrentMarkovchains . . . . . . . . . . . . . . . . . . 22
1.8.AperiodicMarkovchains . . . . . . . . . . . . . . . . . . . . . . . . . . 30
1.9.Convergencetoequilibrium . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.10.Ergodictheorem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
1.11.Firstpassagetimesandnumberofvisits . . . . . . . . . . . . . . . . . 53
1.11.1.Firstpassagetimetoastate . . . . . . . . . . . . . . . . . . . . . 53
1.11.2.Firstpassagetimetoasubsetofstates . . . . . . . . . . . . . . . 58
1.11.3.Expectednumberofvisits . . . . . . . . . . . . . . . . . . . . . . 64
1.12.FiniteMarkovchains . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
1.13.AbsorbingMarkovchains . . . . . . . . . . . . . . . . . . . . . . . . . 70
1.14.Examples. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
1.14.1.Two-statechain . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
1.14.2.Gambler’sruin . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
1.14.3.Successruns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
1.15.Bibliographicalnotes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
Chapter2.Continuous-TimeMarkovChains . . . . . . . . . . . . . . . . . 89
2.1.Definitionsandproperties . . . . . . . . . . . . . . . . . . . . . . . . . . 92
2.2.Transitionfunctionsandinfinitesimalgenerator. . . . . . . . . . . . . . 93
vi MarkovChains–Theory,AlgorithmsandApplications
2.3.Kolmogorov’sbackwardequation . . . . . . . . . . . . . . . . . . . . . 108
2.4.Kolmogorov’sforwardequation . . . . . . . . . . . . . . . . . . . . . . 114
2.5.Existenceanduniquenessofthesolutions . . . . . . . . . . . . . . . . . 127
2.6.Recurrentandtransientstates . . . . . . . . . . . . . . . . . . . . . . . . 130
2.7.Stateclassification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
2.8.Explosion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
2.9.IrreducibleandrecurrentMarkovchains . . . . . . . . . . . . . . . . . . 148
2.10.Convergencetoequilibrium . . . . . . . . . . . . . . . . . . . . . . . . 162
2.11.Ergodictheorem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
2.12.Firstpassagetimes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
2.12.1.Firstpassagetimetoastate . . . . . . . . . . . . . . . . . . . . . 172
2.12.2.Firstpassagetimetoasubsetofstates . . . . . . . . . . . . . . . 177
2.13.AbsorbingMarkovchains . . . . . . . . . . . . . . . . . . . . . . . . . 184
2.14.Bibliographicalnotes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
Chapter3.Birth-and-DeathProcesses . . . . . . . . . . . . . . . . . . . . . . 191
3.1.Discrete-timebirth-and-deathprocesses . . . . . . . . . . . . . . . . . . 191
3.2.Absorbingdiscrete-timebirth-and-deathprocesses . . . . . . . . . . . . 200
3.2.1.Passagetimesandconvergencetoequilibrium . . . . . . . . . . . 201
3.2.2.Expectednumberofvisits . . . . . . . . . . . . . . . . . . . . . . . 204
3.3.Periodicdiscrete-timebirth-and-deathprocesses . . . . . . . . . . . . . 208
3.4.Continuous-timepurebirthprocesses . . . . . . . . . . . . . . . . . . . 209
3.5.Continuous-timebirth-and-deathprocesses . . . . . . . . . . . . . . . . 213
3.5.1.Explosion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
3.5.2.Positiverecurrence . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
3.5.3.Firstpassagetime . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
3.5.4.Explosivechainhavinganinvariantprobability. . . . . . . . . . . 225
3.5.5.Explosivechainwithoutinvariantprobability . . . . . . . . . . . . 226
3.5.6.Positiveornullrecurrentembeddedchain . . . . . . . . . . . . . . 227
3.6.Absorbingcontinuous-timebirth-and-deathprocesses . . . . . . . . . . 228
3.6.1.Passagetimesandconvergencetoequilibrium . . . . . . . . . . . 229
3.6.2.Explosion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
3.7.Bibliographicalnotes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
Chapter4.Uniformization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
4.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
4.2.Banachspacesandalgebra . . . . . . . . . . . . . . . . . . . . . . . . . 237
4.3.Infinitematricesandvectors. . . . . . . . . . . . . . . . . . . . . . . . . 243
4.4.Poissonprocess . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
4.4.1.Orderstatistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
4.4.2.WeightedPoissondistributioncomputation . . . . . . . . . . . . . 255
4.4.3.Truncationthresholdcomputation . . . . . . . . . . . . . . . . . . 258
4.5.UniformizableMarkovchains. . . . . . . . . . . . . . . . . . . . . . . . 263
TableofContents vii
4.6.Firstpassagetimetoasubsetofstates . . . . . . . . . . . . . . . . . . . 273
4.7.FiniteMarkovchains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
4.8.Transientregime . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
4.8.1.Stateprobabilitiescomputation . . . . . . . . . . . . . . . . . . . . 276
4.8.2.Firstpassagetimedistributioncomputation . . . . . . . . . . . . . 280
4.8.3.Applicationtobirth-and-deathprocesses . . . . . . . . . . . . . . 282
4.9.Bibliographicalnotes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
Chapter5.Queues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
5.1.TheM/M/1queue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
5.1.1.Stateprobabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . 290
5.1.2.Busyperioddistribution . . . . . . . . . . . . . . . . . . . . . . . . 311
5.2.TheM/M/cqueue. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315
5.3.TheM/M/∞queue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318
5.4.Phase-typedistributions . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
5.5.Markovianarrivalprocesses . . . . . . . . . . . . . . . . . . . . . . . . . 326
5.5.1.Definitionandtransientregime . . . . . . . . . . . . . . . . . . . . 326
5.5.2.Jointdistributionoftheinterarrivaltimes . . . . . . . . . . . . . . 336
5.5.3.Phase-typerenewalprocesses . . . . . . . . . . . . . . . . . . . . . 341
5.5.4.MarkovmodulatedPoissonprocesses . . . . . . . . . . . . . . . . 342
5.6.BatchMarkovianarrivalprocess . . . . . . . . . . . . . . . . . . . . . . 342
5.6.1.Definitionandtransientregime . . . . . . . . . . . . . . . . . . . . 342
5.6.2.Jointdistributionoftheinterarrivaltimes . . . . . . . . . . . . . . 349
5.7.Block-structuredMarkovchains . . . . . . . . . . . . . . . . . . . . . . 352
5.7.1.TransientregimeofSFLchains . . . . . . . . . . . . . . . . . . . . 354
5.7.2.TransientregimeofSFRchains. . . . . . . . . . . . . . . . . . . . 363
5.8.Applications. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
5.8.1.TheM/PH/1queue . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
5.8.2.ThePH/M/1queue . . . . . . . . . . . . . . . . . . . . . . . . . . . 372
5.8.3.ThePH/PH/1queue . . . . . . . . . . . . . . . . . . . . . . . . . . 372
5.8.4.ThePH/PH/cqueue . . . . . . . . . . . . . . . . . . . . . . . . . . 373
5.8.5.TheBMAP/PH/1queue . . . . . . . . . . . . . . . . . . . . . . . 376
5.8.6.TheBMAP/PH/cqueue . . . . . . . . . . . . . . . . . . . . . . . 377
5.9.Bibliographicalnotes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380
Appendix1.BasicResults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395
Description:Markov chains are a fundamental class of stochastic processes. They are widely used to solve problems in a large number of domains such as operational research, computer science, communication networks and manufacturing systems. The success of Markov chains is mainly due to their simplicity of use,
