Table Of ContentNumerical Methods for Simulation and Optimization of
Piecewise Deterministic Markov Processes
Series Editor
Nikolaos Limnios
Numerical Methods for
Simulation and Optimization
of Piecewise Deterministic
Markov Processes
Application to Reliability
Benoîte de Saporta
François Dufour
Huilong Zhang
First published 2016 in Great Britain and the United States by ISTE Ltd and John Wiley & Sons, Inc.
Apart from any fair dealing for the purposes of research or private study, or criticism or review, as
permitted under the Copyright, Designs and Patents Act 1988, this publication may only be reproduced,
stored or transmitted, in any form or by any means, with the prior permission in writing of the publishers,
or in the case of reprographic reproduction in accordance with the terms and licenses issued by the
CLA. Enquiries concerning reproduction outside these terms should be sent to the publishers at the
undermentioned address:
ISTE Ltd John Wiley & Sons, Inc.
27-37 St George’s Road 111 River Street
London SW19 4EU Hoboken, NJ 07030
UK USA
www.iste.co.uk www.wiley.com
© ISTE Ltd 2016
The rights of Benoîte de Saporta, François Dufour and Huilong Zhang to be identified as the authors of
this work have been asserted by them in accordance with the Copyright, Designs and Patents Act 1988.
Library of Congress Control Number: 2015954427
British Library Cataloguing-in-Publication Data
A CIP record for this book is available from the British Library
ISBN 978-1-84821-839-0
Contents
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi
Part1.PiecewiseDeterministicMarkov
ProcessesandQuantization . . . . . . . . . . . . . . . . . . . . . . 1
Chapter1.PiecewiseDeterministicMarkovProcesses . . . . 3
1.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3.DefinitionofaPDMP . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4.Regularityassumptions . . . . . . . . . . . . . . . . . . . . . . . 8
1.4.1.Lipschitzcontinuityalongtheflow . . . . . . . . . . . . . . 8
1.4.2.Regularityassumptionsonthelocalcharacteristics . . . . . 9
1.5.Time-augmentedprocess . . . . . . . . . . . . . . . . . . . . . . 11
1.6.EmbeddedMarkovchain . . . . . . . . . . . . . . . . . . . . . . 15
1.7.Stoppingtimes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.8.ExamplesofPDMPs . . . . . . . . . . . . . . . . . . . . . . . . 20
1.8.1.Poissonprocesswithtrend . . . . . . . . . . . . . . . . . . . 20
1.8.2.TCP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.8.3.Airconditioningunit . . . . . . . . . . . . . . . . . . . . . . 22
1.8.4.Crackpropagationmodel . . . . . . . . . . . . . . . . . . . . 23
1.8.5.Repairworkshopmodel. . . . . . . . . . . . . . . . . . . . . 24
Chapter2.ExamplesinReliability . . . . . . . . . . . . . . . . . . 27
2.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.Structuresubjecttocorrosion. . . . . . . . . . . . . . . . . . . . 28
vi NumericalMethodsforSimulationandOptimizationofPDMPs
2.2.1.PDMPmodel. . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2.2.Deterministictimetoreachtheboundary . . . . . . . . . . . 32
2.3.Theheatedhold-uptank . . . . . . . . . . . . . . . . . . . . . . 33
2.3.1.Tankdynamics . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.3.2.PDMPmodel. . . . . . . . . . . . . . . . . . . . . . . . . . . 36
Chapter3.QuantizationTechnique . . . . . . . . . . . . . . . . . 39
3.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.2.Optimalquantization . . . . . . . . . . . . . . . . . . . . . . . . 40
3.2.1.Optimalquantizationofarandomvariable . . . . . . . . . . 40
3.2.2.OptimalquantizationofaMarkovchain . . . . . . . . . . . 42
3.3.SimulationofPDMPs . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3.1.Simulationoftime-dependentintensity . . . . . . . . . . . . 45
3.3.2.Simulationoftrajectories . . . . . . . . . . . . . . . . . . . . 45
3.4.QuantizationofPDMPs . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.1.Scaleofcoordinatesofthestatevariable . . . . . . . . . . . 48
3.4.2.Cardinalityofthemodevariable . . . . . . . . . . . . . . . . 50
Part2.SimulationofFunctionals . . . . . . . . . . . . . . . . . . . 53
Chapter4.ExpectationofFunctionals . . . . . . . . . . . . . . . 55
4.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.2.Recursiveformulation . . . . . . . . . . . . . . . . . . . . . . . . 57
4.2.1.Lipschitzcontinuity . . . . . . . . . . . . . . . . . . . . . . . 58
4.2.2.Iteratedoperator . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.2.3.Approximationscheme . . . . . . . . . . . . . . . . . . . . . 61
4.3.Lipschitzregularity . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.4.Rateofconvergence . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.5.Time-dependentfunctionals . . . . . . . . . . . . . . . . . . . . 71
4.6.Deterministictimehorizon . . . . . . . . . . . . . . . . . . . . . 74
4.6.1.Directestimationoftherunningcostterm . . . . . . . . . . 74
4.6.2.Boundsoftheboundaryjumpcostterm. . . . . . . . . . . . 77
4.6.3.Boundsinthegeneralcase . . . . . . . . . . . . . . . . . . . 79
4.7.Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.8.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
Chapter5.ExitTime . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5.2.Problemsetting . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
5.2.1.Distribution. . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.2.2.Moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Contents vii
5.2.3.Computationhorizon . . . . . . . . . . . . . . . . . . . . . . 92
5.3.Approximationschemes . . . . . . . . . . . . . . . . . . . . . . 92
5.4.Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.4.1.Distribution. . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.4.2.Moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.5.Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.6.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
Chapter6.ExampleinReliability: ServiceTime . . . . . . . . . 109
6.1.Meanthicknessloss . . . . . . . . . . . . . . . . . . . . . . . . . 109
6.2.Servicetime . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
6.2.1.Meanservicetime . . . . . . . . . . . . . . . . . . . . . . . . 114
6.2.2.Distributionoftheservicetime . . . . . . . . . . . . . . . . 118
6.3.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
Part3.Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
Chapter7.OptimalStopping . . . . . . . . . . . . . . . . . . . . . . 125
7.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
7.2.Dynamicprogrammingequation . . . . . . . . . . . . . . . . . . 128
7.3.Approximationofthevaluefunction . . . . . . . . . . . . . . . 130
7.4.Lipschitzcontinuityproperties . . . . . . . . . . . . . . . . . . . 132
7.4.1.LipschitzpropertiesofJ andK . . . . . . . . . . . . . . . . 132
7.4.2.Lipschitzpropertiesofthevaluefunctions . . . . . . . . . . 135
7.5.Errorestimationforthevaluefunction . . . . . . . . . . . . . . 138
7.5.1.Secondterm . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
7.5.2.Thirdterm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
7.5.3.Fourthterm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
7.5.4.Proofoftheorem7.1 . . . . . . . . . . . . . . . . . . . . . . 148
7.6.Numericalconstructionofan(cid:2)-optimalstoppingtime . . . . . . 149
7.7.Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
Chapter8.PartiallyObservedOptimalStoppingProblem . . . 165
8.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
8.2.Problemformulationandassumptions. . . . . . . . . . . . . . . 167
8.3.Optimalfiltering . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
8.4.Dynamicprogramming . . . . . . . . . . . . . . . . . . . . . . . 175
8.4.1.Preliminaryresults. . . . . . . . . . . . . . . . . . . . . . . . 176
8.4.2.Optimalstoppingproblemundercompleteobservation . . . 180
8.4.3.Dynamicprogrammingequation . . . . . . . . . . . . . . . . 181
8.5.Numericalapproximationbyquantization . . . . . . . . . . . . 188
viii NumericalMethodsforSimulationandOptimizationofPDMPs
8.5.1.Lipschitzproperties . . . . . . . . . . . . . . . . . . . . . . . 189
8.5.2.Discretizationscheme . . . . . . . . . . . . . . . . . . . . . . 195
8.5.3.Numericalconstructionofan(cid:2)-optimalstoppingtime. . . . 205
8.6.Numericalexample . . . . . . . . . . . . . . . . . . . . . . . . . 211
Chapter9.ExampleinReliability: Maintenance
Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
9.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
9.2.Corrosionprocess . . . . . . . . . . . . . . . . . . . . . . . . . . 216
9.3.Airconditioningunit . . . . . . . . . . . . . . . . . . . . . . . . 219
9.4.Theheatedhold-uptank . . . . . . . . . . . . . . . . . . . . . . 221
9.4.1.Problemsettingandsimulation . . . . . . . . . . . . . . . . 222
9.4.2.Numericalresultsandvalidation . . . . . . . . . . . . . . . . 224
9.5.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
Chapter10.OptimalImpulseControl . . . . . . . . . . . . . . . . 231
10.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
10.2.Impulsecontrolproblem. . . . . . . . . . . . . . . . . . . . . . 233
10.3.Lipschitz-continuityproperties . . . . . . . . . . . . . . . . . . 236
10.3.1.Lipschitzpropertiesoftheoperators . . . . . . . . . . . . . 236
10.3.2.LipschitzpropertiesoftheoperatorL . . . . . . . . . . . . 239
10.4.Approximationofthevaluefunction . . . . . . . . . . . . . . . 242
10.4.1.Timediscretization. . . . . . . . . . . . . . . . . . . . . . . 245
10.4.2.Approximationofthevaluefunctionson
thecontrolgridU . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
10.4.3.Approximationofthevaluefunction. . . . . . . . . . . . . 255
10.4.4.Step-by-stepdescriptionofthealgorithm . . . . . . . . . . 259
10.4.5.Practicalimplementation . . . . . . . . . . . . . . . . . . . 259
10.5.Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
10.6.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
