Table Of ContentMATLAB® is a trademark of The MathWorks, Inc. and is used with permission. The MathWorks does not warrant the
accuracy of the text or exercises in this book. This book’s use or discussion of MATLAB® software or related products
does not constitute endorsement or sponsorship by The MathWorks of a particular pedagogical approach or particular
use of the MATLAB® software.
Chapman & Hall/CRC
Taylor & Francis Group
6000 Broken Sound Parkway NW, Suite 300
Boca Raton, FL 33487-2742
© 2011 by Taylor and Francis Group, LLC
Chapman & Hall/CRC is an imprint of Taylor & Francis Group, an Informa business
No claim to original U.S. Government works
International Standard Book Number-13: 978-1-4200-7942-5 (eBook - PDF)
This book contains information obtained from authentic and highly regarded sources. Reasonable efforts have been
made to publish reliable data and information, but the author and publisher cannot assume responsibility for the valid-
ity of all materials or the consequences of their use. The authors and publishers have attempted to trace the copyright
holders of all material reproduced in this publication and apologize to copyright holders if permission to publish in this
form has not been obtained. If any copyright material has not been acknowledged please write and let us know so we may
rectify in any future reprint.
Except as permitted under U.S. Copyright Law, no part of this book may be reprinted, reproduced, transmitted, or uti-
lized in any form by any electronic, mechanical, or other means, now known or hereafter invented, including photocopy-
ing, microfilming, and recording, or in any information storage or retrieval system, without written permission from the
publishers.
For permission to photocopy or use material electronically from this work, please access www.copyright.com (http://
www.copyright.com/) or contact the Copyright Clearance Center, Inc. (CCC), 222 Rosewood Drive, Danvers, MA 01923,
978-750-8400. CCC is a not-for-profit organization that provides licenses and registration for a variety of users. For
organizations that have been granted a photocopy license by the CCC, a separate system of payment has been arranged.
Trademark Notice: Product or corporate names may be trademarks or registered trademarks, and are used only for
identification and explanation without intent to infringe.
Visit the Taylor & Francis Web site at
http://www.taylorandfrancis.com
and the CRC Press Web site at
http://www.crcpress.com
Contents
Preface...............................................................................xix
Editors...............................................................................xxi
Contributors........................................................................xxiii
PartI Foundations,Methodology,andAlgorithms
1. IntroductiontoMarkovChainMonteCarlo........................................3
CharlesJ.Geyer
1.1 History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3
1.2 MarkovChains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4
1.3 ComputerProgramsandMarkovChains . . . . . . . . . . . . . . . . . . . . . . . . . . . .5
1.4 Stationarity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5
1.5 Reversibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6
1.6 Functionals. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6
1.7 TheTheoryofOrdinaryMonteCarlo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6
1.8 TheTheoryofMCMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8
1.8.1 MultivariateTheory. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8
1.8.2 TheAutocovarianceFunction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9
1.9 AR(1)Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9
1.9.1 ADigressiononToyProblems . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10
1.9.2 SupportingTechnicalReport . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.9.3 TheExample . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.10 VarianceEstimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13
1.10.1 NonoverlappingBatchMeans . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13
1.10.2 InitialSequenceMethods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16
1.10.3 InitialSequenceMethodsandBatchMeans . . . . . . . . . . . . . . . . . . .17
1.11 ThePracticeofMCMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17
1.11.1 BlackBoxMCMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18
1.11.2 Pseudo-Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18
1.11.3 OneLongRunversusManyShortRuns . . . . . . . . . . . . . . . . . . . . . .18
1.11.4 Burn-In . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .19
1.11.5 Diagnostics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21
1.12 ElementaryTheoryofMCMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22
1.12.1 TheMetropolis–HastingsUpdate. . . . . . . . . . . . . . . . . . . . . . . . . . .22
1.12.2 TheMetropolis–HastingsTheorem. . . . . . . . . . . . . . . . . . . . . . . . . .23
1.12.3 TheMetropolisUpdate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .24
1.12.4 TheGibbsUpdate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .24
1.12.5 Variable-at-a-TimeMetropolis–Hastings. . . . . . . . . . . . . . . . . . . . . .25
1.12.6 GibbsIsaSpecialCaseofMetropolis–Hastings . . . . . . . . . . . . . . . .26
1.12.7 CombiningUpdates. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .26
1.12.7.1 Composition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .26
1.12.7.2 PalindromicComposition . . . . . . . . . . . . . . . . . . . . . . . . . .26
1.12.8 State-IndependentMixing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .26
1.12.9 Subsampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27
1.12.10 GibbsandMetropolisRevisited . . . . . . . . . . . . . . . . . . . . . . . . . . . .28
v
vi Contents
1.13 AMetropolisExample. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29
1.14 Checkpointing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .34
1.15 DesigningMCMCCode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .35
1.16 ValidatingandDebuggingMCMCCode . . . . . . . . . . . . . . . . . . . . . . . . . . . .36
1.17 TheMetropolis–Hastings–GreenAlgorithm. . . . . . . . . . . . . . . . . . . . . . . . . .37
1.17.1 State-DependentMixing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .38
1.17.2 Radon–NikodymDerivatives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .39
1.17.3 Measure-TheoreticMetropolis–Hastings . . . . . . . . . . . . . . . . . . . . .40
1.17.3.1 Metropolis–Hastings–GreenElementaryUpdate . . . . . . . . .40
1.17.3.2 TheMHGTheorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42
1.17.4 MHGwithJacobiansandAugmentedStateSpace . . . . . . . . . . . . . .45
1.17.4.1 TheMHGJTheorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .46
Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .47
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .47
2. AShortHistoryofMCMC:SubjectiveRecollectionsfromIncompleteData......49
ChristianRobertandGeorgeCasella
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49
2.2 BeforetheRevolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .50
2.2.1 TheMetropolisetal.(1953)Paper. . . . . . . . . . . . . . . . . . . . . . . . . . .50
2.2.2 TheHastings(1970)Paper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .52
2.3 SeedsoftheRevolution. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .53
2.3.1 BesagandtheFundamental(Missing)Theorem . . . . . . . . . . . . . . . .53
2.3.2 EMandItsSimulatedVersionsasPrecursors . . . . . . . . . . . . . . . . . .53
2.3.3 GibbsandBeyond . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .54
2.4 TheRevolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .54
2.4.1 AdvancesinMCMCTheory. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .56
2.4.2 AdvancesinMCMCApplications . . . . . . . . . . . . . . . . . . . . . . . . . .57
2.5 AftertheRevolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .58
2.5.1 ABriefGlimpseatParticleSystems . . . . . . . . . . . . . . . . . . . . . . . . .58
2.5.2 PerfectSampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .58
2.5.3 ReversibleJumpandVariableDimensions . . . . . . . . . . . . . . . . . . . .59
2.5.4 RegenerationandtheCentralLimitTheorem . . . . . . . . . . . . . . . . . .59
2.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .60
Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61
3. ReversibleJumpMCMC..........................................................67
YananFanandScottA.Sisson
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67
3.1.1 FromMetropolis–HastingstoReversibleJump . . . . . . . . . . . . . . . . .67
3.1.2 ApplicationAreas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .68
3.2 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .71
3.2.1 MappingFunctionsandProposalDistributions . . . . . . . . . . . . . . . .72
3.2.2 MarginalizationandAugmentation . . . . . . . . . . . . . . . . . . . . . . . . .73
3.2.3 CenteringandOrderMethods . . . . . . . . . . . . . . . . . . . . . . . . . . . . .74
3.2.4 Multi-StepProposals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .77
3.2.5 GenericSamplers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .78
Contents vii
3.3 PostSimulation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .80
3.3.1 LabelSwitching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .80
3.3.2 ConvergenceAssessment. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .81
3.3.3 EstimatingBayesFactors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .82
3.4 RelatedMulti-ModelSamplingMethods . . . . . . . . . . . . . . . . . . . . . . . . . . . .84
3.4.1 JumpDiffusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .84
3.4.2 ProductSpaceFormulations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .85
3.4.3 PointProcessFormulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .85
3.4.4 Multi-ModelOptimization. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .85
3.4.5 PopulationMCMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .86
3.4.6 Multi-ModelSequentialMonteCarlo . . . . . . . . . . . . . . . . . . . . . . . .86
3.5 DiscussionandFutureDirections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .86
Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .87
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .87
4. OptimalProposalDistributionsandAdaptiveMCMC ...........................93
JeffreyS.Rosenthal
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .93
4.1.1 TheMetropolis–HastingsAlgorithm . . . . . . . . . . . . . . . . . . . . . . . .93
4.1.2 OptimalScaling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .93
4.1.3 AdaptiveMCMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .94
4.1.4 ComparingMarkovChains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .94
4.2 OptimalScalingofRandom-WalkMetropolis . . . . . . . . . . . . . . . . . . . . . . . .95
4.2.1 BasicPrinciples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .95
→∞
4.2.2 OptimalAcceptanceRateasd . . . . . . . . . . . . . . . . . . . . . . . . .96
4.2.3 InhomogeneousTargetDistributions . . . . . . . . . . . . . . . . . . . . . . . .98
4.2.4 Metropolis-AdjustedLangevinAlgorithm . . . . . . . . . . . . . . . . . . . .99
4.2.5 NumericalExamples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .99
4.2.5.1 Off-DiagonalCovariance . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.2.5.2 InhomogeneousCovariance. . . . . . . . . . . . . . . . . . . . . . . . 100
4.2.6 FrequentlyAskedQuestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
4.3 AdaptiveMCMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
4.3.1 ErgodicityofAdaptiveMCMC. . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.3.2 AdaptiveMetropolis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.3.3 AdaptiveMetropolis-within-Gibbs. . . . . . . . . . . . . . . . . . . . . . . . . 105
4.3.4 State-DependentProposalScalings. . . . . . . . . . . . . . . . . . . . . . . . . 107
4.3.5 LimitTheorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4.3.6 FrequentlyAskedQuestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
4.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5. MCMCUsingHamiltonianDynamics...........................................113
RadfordM.Neal
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.2 HamiltonianDynamics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.2.1 Hamilton’sEquations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.2.1.1 EquationsofMotion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.2.1.2 PotentialandKineticEnergy . . . . . . . . . . . . . . . . . . . . . . . 115
5.2.1.3 AOne-DimensionalExample. . . . . . . . . . . . . . . . . . . . . . . 116
viii Contents
5.2.2 PropertiesofHamiltonianDynamics . . . . . . . . . . . . . . . . . . . . . . . 116
5.2.2.1 Reversibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
5.2.2.2 ConservationoftheHamiltonian . . . . . . . . . . . . . . . . . . . . 116
5.2.2.3 VolumePreservation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.2.2.4 Symplecticness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.2.3 DiscretizingHamilton’sEquations—TheLeapfrogMethod. . . . . . . 119
5.2.3.1 Euler’sMethod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.2.3.2 AModificationofEuler’sMethod . . . . . . . . . . . . . . . . . . . 121
5.2.3.3 TheLeapfrogMethod . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
5.2.3.4 LocalandGlobalErrorofDiscretizationMethods . . . . . . . 122
5.3 MCMCfromHamiltonianDynamics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.3.1 ProbabilityandtheHamiltonian:CanonicalDistributions . . . . . . . 122
5.3.2 TheHamiltonianMonteCarloAlgorithm. . . . . . . . . . . . . . . . . . . . 123
5.3.2.1 TheTwoStepsoftheHMCAlgorithm . . . . . . . . . . . . . . . . 124
5.3.2.2 ProofThatHMCLeavestheCanonical
DistributionInvariant . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.3.2.3 ErgodicityofHMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
5.3.3 IllustrationsofHMCandItsBenefits . . . . . . . . . . . . . . . . . . . . . . . 127
5.3.3.1 TrajectoriesforaTwo-DimensionalProblem . . . . . . . . . . . 127
5.3.3.2 SamplingfromaTwo-DimensionalDistribution. . . . . . . . . 128
5.3.3.3 TheBenefitofAvoidingRandomWalks . . . . . . . . . . . . . . . 130
5.3.3.4 Samplingfroma100-DimensionalDistribution . . . . . . . . . 130
5.4 HMCinPracticeandTheory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
5.4.1 EffectofLinearTransformations. . . . . . . . . . . . . . . . . . . . . . . . . . . 133
5.4.2 TuningHMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
5.4.2.1 PreliminaryRunsandTracePlots . . . . . . . . . . . . . . . . . . . 134
5.4.2.2 WhatStepsize? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.4.2.3 WhatTrajectoryLength? . . . . . . . . . . . . . . . . . . . . . . . . . . 137
5.4.2.4 UsingMultipleStepsizes . . . . . . . . . . . . . . . . . . . . . . . . . . 137
5.4.3 CombiningHMCwithOtherMCMCUpdates . . . . . . . . . . . . . . . . 138
5.4.4 ScalingwithDimensionality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.4.4.1 CreatingDistributionsofIncreasingDimensionality
byReplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.4.4.2 ScalingofHMCandRandom-WalkMetropolis . . . . . . . . . 139
5.4.4.3 OptimalAcceptanceRates . . . . . . . . . . . . . . . . . . . . . . . . . 141
5.4.4.4 ExploringtheDistributionofPotentialEnergy . . . . . . . . . . 142
5.4.5 HMCforHierarchicalModels . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
5.5 ExtensionsofandVariationsonHMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
5.5.1 DiscretizationbySplitting:HandlingConstraintsandOther
Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
5.5.1.1 SplittingtheHamiltonian . . . . . . . . . . . . . . . . . . . . . . . . . 145
5.5.1.2 SplittingtoExploitPartialAnalyticalSolutions . . . . . . . . . 146
5.5.1.3 SplittingPotentialEnergieswithVariableComputation
Costs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
5.5.1.4 SplittingAccordingtoDataSubsets . . . . . . . . . . . . . . . . . . 147
5.5.1.5 HandlingConstraints . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
5.5.2 TakingOneStepataTime—TheLangevinMethod. . . . . . . . . . . . . 148
5.5.3 PartialMomentumRefreshment:AnotherWaytoAvoid
RandomWalks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
Contents ix
5.5.4 AcceptanceUsingWindowsofStates . . . . . . . . . . . . . . . . . . . . . . . 152
5.5.5 UsingApproximationstoComputetheTrajectory . . . . . . . . . . . . . 155
5.5.6 Short-CutTrajectories:AdaptingtheStepsizewithoutAdaptation . 156
5.5.7 TemperingduringaTrajectory . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
Acknowledgment. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
6. InferencefromSimulationsandMonitoringConvergence.......................163
AndrewGelmanandKennethShirley
6.1 QuickSummaryofRecommendations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
6.2 KeyDifferencesbetweenPointEstimationandMCMCInference . . . . . . . . . 164
6.3 InferenceforFunctionsoftheParametersvs.InferenceforFunctionsofthe
TargetDistribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
6.4 InferencefromNoniterativeSimulations . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
6.5 Burn-In. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
6.6 MonitoringConvergenceComparingbetweenandwithinChains . . . . . . . . 170
6.7 InferencefromSimulationsafterApproximateConvergence . . . . . . . . . . . . 171
6.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
7. ImplementingMCMC:EstimatingwithConfidence.............................175
JamesM.FlegalandGalinL.Jones
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
7.2 InitialExaminationofOutput . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
θ
7.3 PointEstimatesof π . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
7.3.1 Expectations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
7.3.2 Quantiles. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
θ
7.4 IntervalEstimatesof π . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
7.4.1 Expectations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
7.4.1.1 OverlappingBatchMeans . . . . . . . . . . . . . . . . . . . . . . . . . 182
7.4.1.2 ParallelChains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
7.4.2 FunctionsofMoments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.4.3 Quantiles. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
7.4.3.1 SubsamplingBootstrap . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
7.4.4 MultivariateEstimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
7.5 EstimatingMarginalDensities. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
7.6 TerminatingtheSimulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
7.7 MarkovChainCentralLimitTheorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
7.8 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
8. PerfectionwithinReach:ExactMCMCSampling................................199
RaduV.CraiuandXiao-LiMeng
8.1 IntendedReadership. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
8.2 CouplingfromthePast . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
8.2.1 MovingfromTime-ForwardtoTime-Backward . . . . . . . . . . . . . . . 199
