Table Of ContentEmbedded Systems
SeriesEditors
NikilD.Dutt,DepartmentofComputerScience,DonaldBrenSchool
ofInformationandComputerSciences,UniversityofCalifornia,Irvine,
ZotCode3435,Irvine,CA92697-3435,USA
PeterMarwedel,Informatik12,TUDortmund,Otto-Hahn-Str.16,
44227Dortmund,Germany
GrantMartin,TensilicaInc.,3255-6ScottBlvd.,SantaClara,CA95054,USA
Forothertitlespublishedinthisseries,goto
www.springer.com/series/8563
Paul Lokuciejewski (cid:2) Peter Marwedel
Worst-Case
Execution Time
Aware Compilation
Techniques for Real-
Time Systems
PaulLokuciejewski PeterMarwedel
Suitbertusstr.34 EmbeddedSystemsGroup
40223Düsseldorf TUDortmundUniversity
Germany Otto-Hahn-Str.16
[email protected] 44221Dortmund
Germany
[email protected]
ISBN978-90-481-9928-0 e-ISBN978-90-481-9929-7
DOI10.1007/978-90-481-9929-7
SpringerDordrechtHeidelbergLondonNewYork
LibraryofCongressControlNumber:2010936440
©SpringerScience+BusinessMediaB.V.2011
Nopartofthisworkmaybereproduced,storedinaretrievalsystem,ortransmittedinanyformorby
anymeans,electronic,mechanical,photocopying,microfilming,recordingorotherwise,withoutwritten
permissionfromthePublisher,withtheexceptionofanymaterialsuppliedspecificallyforthepurpose
ofbeingenteredandexecutedonacomputersystem,forexclusiveusebythepurchaserofthework.
Coverdesign:VTEX,Vilnius
Printedonacid-freepaper
SpringerispartofSpringerScience+BusinessMedia(www.springer.com)
Acknowledgements
Manypeoplehavecontributedindifferentwaystothiswork.Wewouldliketothank
SaschaPlazar,JanC.Kleinsorge,LarsWehmeyer,TimonKelter,DanielCordes,and
FlorianSchmollforthenumeroustechnicaldiscussions.SpecialthanksgotoHeiko
Falkforyearsofintenseandinspiringcooperation,discussionsandinvaluablesup-
port.WewouldalsoliketothankthepeoplefromAbsIntAngewandteInformation
GmbHforthetechnicaldiscussionsandtheirsoftwaresupport.
This work has been partially funded by the European Community’s ArtistDe-
signNetworkofExcellenceandbytheEuropeanCommunity’sSeventhFramework
ProgrammeFP7/2007-2013undergrantagreementno 216008.
Aboveall,wearedeeplyindebtedtoourfamiliesfortheirloveandsupporthelp-
ingustowritethisbook.
Dortmund PaulLokuciejewski
June2010 PeterMarwedel
v
Contents
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 DesignofEmbeddedReal-TimeSystems . . . . . . . . . . . . . . 3
1.1.1 IndustrialPracticeforMeetingTimingConstraints . . . . . 5
1.1.2 WCET-AwareCompilation . . . . . . . . . . . . . . . . . 7
1.1.2.1 ChallengesforWCETMinimization . . . . . . . 8
1.2 ContributionofThisWork . . . . . . . . . . . . . . . . . . . . . . 9
1.3 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2 WCETAnalysisTechniques . . . . . . . . . . . . . . . . . . . . . . . 13
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2 ApproachesforWCETAnalysis . . . . . . . . . . . . . . . . . . 14
2.2.1 Measurement-BasedApproach . . . . . . . . . . . . . . . 14
2.2.2 StaticApproach . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.3 HybridApproach . . . . . . . . . . . . . . . . . . . . . . 15
2.3 BasicConceptsforStaticWCETAnalysis . . . . . . . . . . . . . 15
2.3.1 ControlFlow . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.3.2 ProcessorBehavioralAnalysis . . . . . . . . . . . . . . . 17
2.3.2.1 Context-DependentTimingAnalysis . . . . . . . 18
2.3.2.2 TimingAnomalies . . . . . . . . . . . . . . . . . 18
2.3.3 FlowFacts . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.3.4 BoundCalculation . . . . . . . . . . . . . . . . . . . . . . 19
2.4 StaticWCETAnalyzeraiT . . . . . . . . . . . . . . . . . . . . . 21
3 WCC—WCET-AwareCCompiler . . . . . . . . . . . . . . . . . . . 23
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.2 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.3 StructureoftheWCCCompiler . . . . . . . . . . . . . . . . . . . 26
3.3.1 CompilerFrontendICD-CIR . . . . . . . . . . . . . . . . 26
3.3.2 StandardSourceCodeLevelOptimizations . . . . . . . . . 29
3.3.3 CodeSelector . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3.4 CompilerBackendLLIR . . . . . . . . . . . . . . . . . . 30
3.3.5 StandardAssemblyLevelOptimizations . . . . . . . . . . 31
vii
viii Contents
3.3.6 CodeGenerator . . . . . . . . . . . . . . . . . . . . . . . 32
3.4 IntegrationofWCETAnalyzer . . . . . . . . . . . . . . . . . . . 33
3.4.1 ConversionfromLLIRtoCRL2. . . . . . . . . . . . . . . 33
3.4.1.1 OperationIdentification . . . . . . . . . . . . . . 34
3.4.1.2 ExploitationofMemoryHierarchySpecification . 36
3.4.1.3 LoopTransformation . . . . . . . . . . . . . . . 37
3.4.2 InvocationofaiT . . . . . . . . . . . . . . . . . . . . . . . 38
3.4.3 ImportofWorst-CaseExecutionData . . . . . . . . . . . . 39
3.5 ModelingofFlowFacts . . . . . . . . . . . . . . . . . . . . . . . 39
3.5.1 SpecificationofFlowFacts . . . . . . . . . . . . . . . . . 40
3.5.2 TranslationandTransformationofFlowFacts . . . . . . . 41
3.6 StaticLoopAnalysis . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.6.1 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . 42
3.6.2 AbstractInterpretation . . . . . . . . . . . . . . . . . . . . 43
3.6.2.1 ModifiedAbstractInterpretation . . . . . . . . . 44
3.6.3 InterproceduralProgramSlicing. . . . . . . . . . . . . . . 46
3.6.4 PolyhedralEvaluation . . . . . . . . . . . . . . . . . . . . 48
3.6.4.1 PolyhedralConditionEvaluation . . . . . . . . . 48
3.6.4.2 PolyhedralLoopEvaluation . . . . . . . . . . . . 50
3.6.4.3 PreconditionsforLoopEvaluation . . . . . . . . 50
3.6.4.4 EhrhartPolynomialEvaluation . . . . . . . . . . 51
3.6.4.5 StaticStatementEvaluation . . . . . . . . . . . . 52
3.6.5 ExperimentalResults . . . . . . . . . . . . . . . . . . . . 52
3.6.5.1 DeterminationofLoopIterationCounts . . . . . 53
3.6.5.2 AnalysisTime . . . . . . . . . . . . . . . . . . . 53
3.7 Back-Annotation . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.7.1 MappingofLow-LeveltoHigh-LevelComponents . . . . 55
3.7.2 Back-AnnotatedData . . . . . . . . . . . . . . . . . . . . 57
3.8 TriCoreProcessor . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4 WCET-AwareSourceCodeLevelOptimizations . . . . . . . . . . . 61
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.2 ExistingCodeOptimizationTechniques . . . . . . . . . . . . . . 63
4.3 ProcedureCloning . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.3.1 MotivatingExample . . . . . . . . . . . . . . . . . . . . . 65
4.3.2 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . 68
4.3.3 StandardProcedureCloning . . . . . . . . . . . . . . . . . 69
4.3.3.1 SelectionofFunctionstoBeCloned . . . . . . . 70
4.3.4 ImpactofStandardCloningonWCET . . . . . . . . . . . 71
4.3.5 ExperimentalResultsforStandardProcedureCloning . . . 72
4.3.5.1 WCET . . . . . . . . . . . . . . . . . . . . . . . 73
4.3.5.2 ACET . . . . . . . . . . . . . . . . . . . . . . . 74
4.3.5.3 CodeSize . . . . . . . . . . . . . . . . . . . . . 74
4.3.6 WCET-AwareProcedureCloning . . . . . . . . . . . . . . 75
4.3.7 ExperimentalResultsforWCET-AwareProcedureCloning 77
Contents ix
4.3.7.1 WCET . . . . . . . . . . . . . . . . . . . . . . . 77
4.3.7.2 CodeSize . . . . . . . . . . . . . . . . . . . . . 78
4.3.7.3 OptimizationRunTime . . . . . . . . . . . . . . 79
4.4 SuperblockOptimizations . . . . . . . . . . . . . . . . . . . . . . 79
4.4.1 MotivatingExample . . . . . . . . . . . . . . . . . . . . . 80
4.4.2 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . 81
4.4.3 WCET-AwareSourceCodeSuperblockFormation . . . . . 82
4.4.3.1 TraceSelection . . . . . . . . . . . . . . . . . . 83
4.4.3.2 ConceptsofSuperblocks . . . . . . . . . . . . . 85
4.4.3.3 SuperblockFormation . . . . . . . . . . . . . . . 88
4.4.4 WCET-AwareSuperblockOptimizations . . . . . . . . . . 91
4.4.4.1 StaticProgramAnalysis . . . . . . . . . . . . . . 91
4.4.4.2 WCET-SBCommonSubexpressionElimination . 92
4.4.4.3 WCET-SBDeadCodeElimination . . . . . . . . 93
4.4.5 Experimental Results for WCET-Aware Superblock
Optimizations . . . . . . . . . . . . . . . . . . . . . . . . 94
4.4.5.1 WCET . . . . . . . . . . . . . . . . . . . . . . . 94
4.4.5.2 ACET . . . . . . . . . . . . . . . . . . . . . . . 96
4.4.5.3 CodeSize . . . . . . . . . . . . . . . . . . . . . 97
4.4.5.4 OptimizationRunTime . . . . . . . . . . . . . . 97
4.5 LoopUnrolling . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
4.5.1 MotivatingExample . . . . . . . . . . . . . . . . . . . . . 98
4.5.2 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . 99
4.5.3 StandardLoopUnrolling . . . . . . . . . . . . . . . . . . 100
4.5.4 WCET-AwareLoopUnrolling . . . . . . . . . . . . . . . . 102
4.5.4.1 Worst-CaseLoopIterationCounts . . . . . . . . 102
4.5.4.2 I-CacheandMemoryConstraints . . . . . . . . . 103
4.5.4.3 PredictionofUnrollingEffects . . . . . . . . . . 105
4.5.4.4 DeterminationofFinalUnrollingFactor . . . . . 107
4.5.4.5 WCET-AwareUnrollingHeuristics . . . . . . . . 108
4.5.5 ExperimentalResultsforWCET-AwareLoopUnrolling . . 109
4.5.5.1 WCET . . . . . . . . . . . . . . . . . . . . . . . 109
4.5.5.2 ACET . . . . . . . . . . . . . . . . . . . . . . . 111
4.5.5.3 CodeSize . . . . . . . . . . . . . . . . . . . . . 112
4.5.5.4 OptimizationRunTime . . . . . . . . . . . . . . 113
4.6 AcceleratingOptimizationbytheInvariantPath . . . . . . . . . . 113
4.6.1 MotivatingExample . . . . . . . . . . . . . . . . . . . . . 114
4.6.2 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . 115
4.6.3 InvariantPathParadigm . . . . . . . . . . . . . . . . . . . 116
4.6.3.1 IF-THEN Structure . . . . . . . . . . . . . . . . 117
4.6.3.2 IF-THEN-ELSE Structure with Statically
EvaluableCondition . . . . . . . . . . . . . . . . 118
4.6.3.3 IF-THEN-ELSE Structure with Statically
Non-evaluableCondition . . . . . . . . . . . . . 119
4.6.4 ConstructionoftheInvariantPath . . . . . . . . . . . . . . 119
x Contents
4.6.5 InvariantPathRatio . . . . . . . . . . . . . . . . . . . . . 120
4.6.6 CaseStudy:WCET-AwareLoopUnswitching . . . . . . . 121
4.6.7 ExperimentalResultsforWCET-AwareLoopUnswitching 125
4.6.7.1 OptimizationRunTime . . . . . . . . . . . . . . 125
4.6.7.2 WCET . . . . . . . . . . . . . . . . . . . . . . . 126
4.6.7.3 CodeSize . . . . . . . . . . . . . . . . . . . . . 127
4.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
5 WCET-AwareAssemblyLevelOptimizations . . . . . . . . . . . . . 131
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.2 ExistingCodeOptimizationTechniques . . . . . . . . . . . . . . 132
5.3 ProcedurePositioning . . . . . . . . . . . . . . . . . . . . . . . . 133
5.3.1 MotivatingExample . . . . . . . . . . . . . . . . . . . . . 134
5.3.2 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . 136
5.3.3 StandardProcedurePositioning . . . . . . . . . . . . . . . 137
5.3.4 WCET-CentricCallGraph-BasedPositioning . . . . . . . 138
5.3.4.1 GreedyWCET-AwarePositioningApproach . . . 139
5.3.4.2 HeuristicWCET-AwarePositioningApproach . . 142
5.3.5 Experimental Results for WCET-Aware Procedure
Positioning . . . . . . . . . . . . . . . . . . . . . . . . . . 142
5.3.5.1 WCET . . . . . . . . . . . . . . . . . . . . . . . 142
5.3.5.2 ACET . . . . . . . . . . . . . . . . . . . . . . . 144
5.3.5.3 OptimizationRunTime . . . . . . . . . . . . . . 144
5.4 TraceScheduling. . . . . . . . . . . . . . . . . . . . . . . . . . . 145
5.4.1 MotivatingExample . . . . . . . . . . . . . . . . . . . . . 145
5.4.2 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . 147
5.4.3 LocalInstructionScheduling . . . . . . . . . . . . . . . . 148
5.4.3.1 ListScheduling . . . . . . . . . . . . . . . . . . 149
5.4.4 WCET-AwareTraceScheduling . . . . . . . . . . . . . . . 151
5.4.5 ExperimentalResultsforWCET-AwareTraceScheduling . 154
5.4.5.1 WCET . . . . . . . . . . . . . . . . . . . . . . . 154
5.4.5.2 ACET . . . . . . . . . . . . . . . . . . . . . . . 155
5.4.5.3 CodeSize . . . . . . . . . . . . . . . . . . . . . 156
5.4.5.4 OptimizationRunTime . . . . . . . . . . . . . . 156
5.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
6 MachineLearningTechniquesinCompilerDesign . . . . . . . . . . 159
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
6.2 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
6.3 MachineLearningBasedHeuristicGeneration . . . . . . . . . . . 162
6.3.1 SupervisedLearning . . . . . . . . . . . . . . . . . . . . . 162
6.3.2 HeuristicGenerationBasedonSupervisedLearning . . . . 163
6.3.3 IntegrationandUseofMLBHeuristicsinCompilers . . . . 163
6.4 FunctionInlining. . . . . . . . . . . . . . . . . . . . . . . . . . . 165
6.4.1 MotivatingExample . . . . . . . . . . . . . . . . . . . . . 165
Contents xi
6.4.2 StandardFunctionInlining . . . . . . . . . . . . . . . . . 166
6.4.2.1 RelatedWork . . . . . . . . . . . . . . . . . . . 167
6.4.3 MLBHeuristicGenerationatSourceCodeLevel . . . . . . 168
6.4.3.1 FeatureExtraction . . . . . . . . . . . . . . . . . 168
6.4.3.2 LabelDetermination . . . . . . . . . . . . . . . . 169
6.4.3.3 ModelInduction . . . . . . . . . . . . . . . . . . 170
6.4.3.4 ApplicationofWCET-AwareFunctionInlining . 171
6.4.4 ExperimentalResultsforWCET-AwareFunctionInlining . 172
6.4.4.1 AccuracyofClassification . . . . . . . . . . . . . 172
6.4.4.2 VariableImportanceMeasure . . . . . . . . . . . 173
6.4.4.3 WCET . . . . . . . . . . . . . . . . . . . . . . . 174
6.4.4.4 ACET . . . . . . . . . . . . . . . . . . . . . . . 177
6.4.4.5 CodeSize . . . . . . . . . . . . . . . . . . . . . 177
6.4.4.6 CompilationRunTime . . . . . . . . . . . . . . 178
6.5 Loop-InvariantCodeMotion . . . . . . . . . . . . . . . . . . . . 178
6.5.1 MotivatingExample . . . . . . . . . . . . . . . . . . . . . 179
6.5.2 StandardLoop-InvariantCodeMotion . . . . . . . . . . . 180
6.5.3 MLBHeuristicGenerationatAssemblyLevel . . . . . . . 182
6.5.3.1 AutomaticModelSelection . . . . . . . . . . . . 183
6.5.3.2 FeatureExtraction . . . . . . . . . . . . . . . . . 187
6.5.3.3 LabelDetermination . . . . . . . . . . . . . . . . 187
6.5.3.4 ApplicationofWCET-AwareLICM . . . . . . . 188
6.5.4 ExperimentalResultsforWCET-AwareLICM . . . . . . . 188
6.5.4.1 WCET . . . . . . . . . . . . . . . . . . . . . . . 189
6.5.4.2 ACET . . . . . . . . . . . . . . . . . . . . . . . 193
6.5.4.3 Compilationruntime . . . . . . . . . . . . . . . 193
6.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
7 Multi-objectiveOptimizations . . . . . . . . . . . . . . . . . . . . . . 197
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
7.2 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
7.3 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
7.4 CompilerOptimizationSequenceExploration . . . . . . . . . . . 202
7.4.1 AdaptiveCompilers . . . . . . . . . . . . . . . . . . . . . 203
7.4.2 AdaptabilityinWCC . . . . . . . . . . . . . . . . . . . . 204
7.4.2.1 InternalStructureofWCC’sOptimizer . . . . . . 204
7.4.2.2 AvailableCompilerOptimizations . . . . . . . . 205
7.4.3 EncodingofOptimizationSequences . . . . . . . . . . . . 206
7.4.4 ObjectiveFunctions . . . . . . . . . . . . . . . . . . . . . 208
7.5 Multi-objectiveExplorationofCompilerOptimizations . . . . . . 208
7.5.1 Multi-objectiveOptimization . . . . . . . . . . . . . . . . 209
7.5.1.1 ParetoFrontApproximation . . . . . . . . . . . . 209
7.5.2 EvolutionaryMulti-objectiveOptimizationAlgorithms . . 210
7.5.3 StatisticalPerformanceAssessment . . . . . . . . . . . . . 211
7.5.3.1 DominanceRanking . . . . . . . . . . . . . . . . 214
xii Contents
7.5.3.2 HypervolumeIndicators . . . . . . . . . . . . . . 214
7.5.3.3 StatisticalHypothesisTesting . . . . . . . . . . . 215
7.6 ExperimentalResultsforOptimizationExploration. . . . . . . . . 216
7.6.1 StatisticalPerformanceAssessment . . . . . . . . . . . . . 218
7.6.2 AnalysisofParetoFrontApproximations . . . . . . . . . . 220
7.6.3 AnalysisoftheOptimizationSequences . . . . . . . . . . 222
7.6.4 CrossValidation . . . . . . . . . . . . . . . . . . . . . . . 223
7.6.5 OptimizationRunTime . . . . . . . . . . . . . . . . . . . 225
7.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
8 SummaryandFutureWork . . . . . . . . . . . . . . . . . . . . . . . 229
8.1 ResearchContributions . . . . . . . . . . . . . . . . . . . . . . . 229
8.1.1 ExtensionstoWCCFramework . . . . . . . . . . . . . . . 230
8.1.2 WCET-AwareSourceCodeLevelOptimizations . . . . . . 230
8.1.3 WCET-AwareAssemblyLevelOptimizations . . . . . . . 231
8.2 FutureWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
AppendixA AbstractInterpretation . . . . . . . . . . . . . . . . . . . . 235
A.1 ConcreteSemantics . . . . . . . . . . . . . . . . . . . . . . . . . 235
A.2 AbstractInterpretation . . . . . . . . . . . . . . . . . . . . . . . . 237
A.2.1 AbstractSemantics . . . . . . . . . . . . . . . . . . . . . 237
A.2.2 AbstractDomain . . . . . . . . . . . . . . . . . . . . . . . 238
A.2.3 CalculationofAbstractSemantics. . . . . . . . . . . . . . 239
AppendixB TransformationofConditions . . . . . . . . . . . . . . . . 241
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
