Table Of ContentConcurrency with Modern C++
What every professional C++ programmer should know
about concurrency.
Rainer Grimm
Thisbookisforsaleathttp://leanpub.com/concurrencywithmodernc
Thisversionwaspublishedon2019-03-19
ThisisaLeanpubbook.LeanpubempowersauthorsandpublisherswiththeLeanPublishing
process.LeanPublishingistheactofpublishinganin-progressebookusinglightweighttoolsand
manyiterationstogetreaderfeedback,pivotuntilyouhavetherightbookandbuildtractiononce
youdo.
©2017-2019RainerGrimm
Tweet This Book!
PleasehelpRainerGrimmbyspreadingthewordaboutthisbookonTwitter!
Thesuggestedhashtagforthisbookis#rainer_grimm.
Findoutwhatotherpeoplearesayingaboutthebookbyclickingonthislinktosearchforthis
hashtagonTwitter:
#rainer_grimm
Contents
ReaderTestimonials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . i
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii
Conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii
SpecialFonts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii
SpecialSymbols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii
SpecialBoxes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iv
SourceCode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iv
RunthePrograms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iv
Howyoushouldreadthebook? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v
PersonalNotes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v
Acknowledgements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v
AboutMe. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vi
MySpecialCircumstances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vi
A Quick Overview
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
ConcurrencywithModernC++ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
C++11andC++14:TheFoundation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
MemoryModel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
Multithreading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
C++17:ParallelAlgorithmsoftheStandardTemplateLibrary . . . . . . . . . . . . . . . . . . 5
ExecutionPolicy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
NewAlgorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
CaseStudies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
CalculatingtheSumofaVector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
Thread-SafeInitialisationofaSingleton . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
OngoingOptimisationwithCppMem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
C++20/23:TheConcurrentFuture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Executors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
std::jthread . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
AtomicSmartPointers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Extendedfutures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
CONTENTS
LatchesandBarriers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Coroutines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
TransactionalMemory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
TaskBlocks. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
PatternsandBestPractices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Synchronisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
ConcurrentArchitecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
BestPractices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
DataStructures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
TimeLibrary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
CppMem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Glossary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
The Details
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
MemoryModel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
BasicsoftheMemoryModel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
Whatisamemorylocation? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
Whathappensiftwothreadsaccessthesamememorylocation? . . . . . . . . . . . . . 14
TheContract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
TheFoundation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
TheChallenges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Atomics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
StrongversusWeakMemoryModel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
TheAtomicFlag . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
TheClassTemplatestd::atomic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
AllAtomicOperations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
FreeAtomicFunctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
std::shared_ptr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
TheSynchronisationandOrderingConstraints . . . . . . . . . . . . . . . . . . . . . . . . . . 43
TheSixVariantsofMemoryOrderingsinC++ . . . . . . . . . . . . . . . . . . . . . . . . 43
SequentialConsistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
Acquire-ReleaseSemantic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
std::memory_order_consume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
RelaxedSemantic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
Fences. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
std::atomic_thread_fence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
std::atomic_signal_fence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
Multithreading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
Threads . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
CONTENTS
ThreadCreation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
ThreadLifetime . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
ThreadArguments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
SharedData . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
Mutexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
Locks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
Thread-safeInitialisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
Thread-LocalData . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
ConditionVariables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
ThePredicate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
LostWakeupandSpuriousWakeup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
TheWaitWorkflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
TasksversusThreads . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
std::async . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
std::packaged_task . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
std::promiseandstd::future . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
std::shared_future . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
Exceptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
Notifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
ParallelAlgorithmsoftheStandardTemplateLibrary . . . . . . . . . . . . . . . . . . . . . . . 157
ExecutionPolicies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
ParallelandVectorisedExecution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
Exceptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
HazardsofDataRacesandDeadlocks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
TheNewAlgorithms. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
Moreoverloads . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
ThefunctionalHeritage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
CaseStudies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
CalculatingtheSumofaVector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
SingleThreadedadditionofaVector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
MultithreadedSummationwithaSharedVariable . . . . . . . . . . . . . . . . . . . . . . 183
Thread-LocalSummation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
SummationofaVector:TheConclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
Thread-SafeInitialisationofaSingleton . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
Double-CheckedLockingPattern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
PerformanceMeasurement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
Thread-SafeMeyersSingleton . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
CONTENTS
std::lock_guard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
std::call_oncewithstd::once_flag . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
Atomics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
PerformanceNumbersofthevariousThread-SafeSingletonImplementations . . . . . 215
OngoingOptimisationwithCppMem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
CppMem:Non-AtomicVariables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
CppMem:Locks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
CppMem:AtomicswithSequentialConsistency . . . . . . . . . . . . . . . . . . . . . . . 224
CppMem:AtomicswithAcquire-ReleaseSemantic . . . . . . . . . . . . . . . . . . . . . 232
CppMem:AtomicswithNon-atomics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
CppMem:AtomicswithRelaxedSemantic . . . . . . . . . . . . . . . . . . . . . . . . . . 237
Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
TheFuture:C++20/23 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
Executors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
AlongWay . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
WhatisanExecutor?. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
FirstExamples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
GoalsofanExecutorConcept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
Terminology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
ExecutionFunctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
APrototypeImplementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
ACooperativelyInterruptibleJoiningThread . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
AutomaticallyJoining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
Interruptastd::jthread . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
StopTokens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
AtomicSmartPointers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
Athread-safesinglylinkedlist . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
ExtendedFutures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
ConcurrencyTSv1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
UnifiedFutures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
LatchesandBarriers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
std::latch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
std::barrier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
std::flex_barrier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
Coroutines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
AGeneratorFunction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
Details . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
TransactionalMemory. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
ACI(D) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
SynchronizedandAtomicBlocks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
transaction_safeversustransaction_unsafeCode . . . . . . . . . . . . . . . . . . . . 292
TaskBlocks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
CONTENTS
ForkandJoin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
define_task_blockversusdefine_task_block_restore_thread . . . . . . . . . . . . . 294
TheInterface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
TheScheduler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
Patterns
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .297
PatternsandBestPractices. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
InvaluableValue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
PatternversusBestPractices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
Anti-Pattern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
SynchronisationPatterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
DealingwithSharing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
CopiedValue. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
Thread-SpecificStorage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
Future . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
DealingwithMutation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
ScopedLocking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
StrategizedLocking. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
Thread-SafeInterface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
GuardedSuspension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
ConcurrentArchitecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
ActiveObject . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
AdvantagesandDisadvantages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
FurtherInformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
MonitorObject . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
Runtimebehaviour . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
AdvantagesandDisadvantages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
FurtherInformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
Half-Sync/Half-Async . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
AdvantagesandDisadvantages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
Reactor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
Proactor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357
FurtherInformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359
BestPractices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
CONTENTS
General . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
CodeReviews . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
MinimiseSharingofMutableData . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
MinimiseWaiting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
PreferImmutableData. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
Usepurefunctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368
LookfortheRightAbstraction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
UseStaticCodeAnalysisTools. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
UseDynamicEnforcementTools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
Multithreading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
Threads . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
DataSharing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376
ConditionVariables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384
PromisesandFutures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
MemoryModel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
Don’tusevolatileforsynchronisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
Don’tprogramLockFree . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
IfyouprogramLock-Free,usewell-establishedpatterns . . . . . . . . . . . . . . . . . . 388
Don’tbuildyourabstraction,useguaranteesofthelanguage . . . . . . . . . . . . . . . 389
Don’treinventthewheel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
Data Structures
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .390
Lock-BasedDataStructures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
Lock-FreeDataStructures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392
Further Information
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .393
Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
ABAProblem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
BlockingIssues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
BreakingofProgramInvariants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
DataRaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401
Deadlocks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403
FalseSharing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404
LifetimeIssuesofVariables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409
MovingThreads . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
RaceConditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412
TheTimeLibrary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
TheInterplayofTimePoint,TimeDuration,andClock . . . . . . . . . . . . . . . . . . . . . 414
TimePoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415
CONTENTS
FromTimePointtoCalendarTime . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415
CrossthevalidTimeRange . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417
TimeDuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419
Calculations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421
Clocks. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 424
AccuracyandSteadiness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 424
Epoch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427
SleepandWait . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430
CppMem-AnOverview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436
ThesimplifiedOverview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436
1.Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437
2.Program . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437
3.DisplayRelations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438
4.DisplayLayout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438
5.ModelPredicates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438
TheExamples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438
Glossary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444
ACID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444
CAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444
CallableUnit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444
Concurrency. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444
CriticalSection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
EagerEvaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
Executor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
FunctionObjects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
LambdaFunctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446
Lazyevaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446
Lock-free . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446
LostWakeup. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446
MathLaws . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446
MemoryLocation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447
MemoryModel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447
ModificationOrder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447
Monad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447
Non-blocking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448
Parallelism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449
Predicate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449
Pattern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449
RAII . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449
ReleaseSequence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449
SequentialConsistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 450
