Query Execution on Modern CPUs

177 Pages·2017·4.47 MB·English

by  Steffen Zeuch

Query Execution on Modern CPUs
Dissertation
zur Erlangung des akademischen Grades
doctor rerum naturalium (Dr. rer. nat.)
im Fach Informatik
eingereicht an der
Mathematisch-Naturwissenschaftlichen Fakultät
der Humboldt-Universität zu Berlin
von
M.Sc. Steffen Zeuch
Präsidentin der Humboldt-Universität zu Berlin:
Prof. Dr.-Ing. Dr. Sabine Kunst
Dekan der Mathematisch-Naturwissenschaftlichen Fakultät:
Prof. Dr. Elmar Kulke
Gutachter:
1. Prof. Johann-Christoph Freytag, Ph.D.
2. Prof. Dr.-Ing. Wolfgang Lehner
3. Prof. Dr. Stefan Manegold
Tag der Verteidigung 27.04.2018

Abstract
Over the last decades, database system have been migrated from
disk to memory architectures such as RAM, Flash, or NVRAM. Re-
search has shown that this migration fundamentally shifts the per-
formance bottleneck upwards in the memory hierarchy. Whereas disk-
baseddatabasesystemswerelargelydominatedbydiskbandwidthand
latency, in-memory database systems mainly depend on the efficiency
of faster memory components, e.g., RAM, caches, and registers.
With respect to hardware, the clock speed per core reached a
plateau due to physical limitations. This limit caused hardware archi-
tectstodevoteanincreasingnumberofavailableon-chiptransistorsto
more processors and larger caches. However, memory access latency
improved much slower than memory bandwidth. Nowadays, CPUs
process data much faster than transferring data from main memory
into caches. This trend creates the so-called Memory Wall which is
the main challenge for modern main memory database systems.
To encounter these challenges and enable the full potential of the
availableprocessingpowerofmodernCPUsfordatabasesystems, this
thesis proposes four approaches to reduce the impact of the Memory
Wall. First, SIMD instructions increase the cache line utilization and
decreasethenumberofexecutedinstructionsiftheyoperateonanap-
propriate data layout. Thus, we adapt tree structures for processing
with SIMD instructions to reduce demands on the memory bus and
processing units are decreased. Second, by modeling and executing
queries following a unified model, we are able to achieve high resource
utilization. Therefore, we propose a unified model that enables us to
utilize knowledge about the query plan and the underlying hardware
tooptimizequeryexecution. Third,weneedafundamentalknowledge
about the individual database operators and their behavior and re-
quirementstooptimallydistributetheresourcesamongavailablecom-
puting units. We conduct an in-depth analysis of different workloads
using performance counters create these insights.
Fourth, we propose a non-invasive progressive optimization ap-
proach based on in-depth knowledge of individual operators that is
able to optimize query execution during run-time. In sum, using addi-
tional run-time statistics gathered by performance counters, a unified
model, and SIMD instructions, this thesis improves query execution
on modern CPUs.
III

Zusammenfassung
ÜberdieletztenJahrzehntehabensichDatenbankenvonfestplatten-
basierten zu hauptspeicher-basierten Datenbanksystemen entwickelt.
Dabei hat die Forschung in diesem Bereich gezeigt, dass der Flaschen-
hals sich innerhalb der Speicherhierarchie in Richtung der Schnelleren
aber Langsameren Speicher verschoben hat. Wohingegen festplatten-
basierteDatenbankenvorallemdurchdieBandbreiteundLatenzender
Festplattenlimitiertwaren,sindheutigehauptspeicher-basierteDaten-
bankeneherdurchschnellereSpeicherwieHauptspeicher,Cachesoder
Register limitiert.
Innerhalb der gleichen Zeitpanne hat sich die Hardware heutiger
Computer ebenfalls weiterentwickelt. Im Besonderen hat die Taktfre-
quenz der Prozessoren ein Plateau erreicht da die Prozessorhersteller
an physische Grenzen gestoßen sind. Als Ausweg haben die Hersteller
diezuVerfügungstehendenneuenTransistorengenutztumzusätzliche
Prozessorkerne sowie größere Caches auf den Prozessoren zu integrie-
ren. Als zweite Entwicklung hat sich die Hauptspeicherlatenz wesent-
lich langsamer verbessert als die Hauptspeicherkapazität. Im Ergebnis
können heutige Prozessoren Daten wesentlich schneller verarbeiten als
das Ihnen Daten zugeführt werden können. Diese Entwicklung führt
zur sogenannten „Memory Wall“ die eine wesentliche Herausforderung
für moderne Datenbanksysteme darstellt.
Um diese Herausforderungen anzugehen und das volle Potenzial
moderner Prozessoren zu erschließen, stellt diese Dissertation vier An-
sätze vor um den Einfluss der „Memory Wall“ zu reduzieren.
DerersteAnsatzzeigtauf,wiespezielleProzessorinstruktionen(so-
genannte SIMD Instruktionen) die Ausnutzung von Caches erhöhen
und gleichzeitig die Anzahl der Instruktionen verringern. In dieser Ar-
beit werden dazu vorhandene Baumstrukturen so angepasst, das diese
SIMDInstruktionenverwendenkönnenunddaherdiebenötigteHaupt-
speicherbandbreite verringert wird.
Der zweite Ansatz dieser Arbeit führt ein Model ein, dass es er-
möglicht,dieAnfrageausführunginverschiedenenDatenbanksystemen
zu vereinheitlichen und dadurch vergleichbar zu machen. Durch diese
Vereinheitlichung wird es ermöglicht, die Hardwareausnutzung durch
HinzunahmevonWissenüberdieauszuführendeHardwarezuoptimie-
ren.
DerdritteAnsatzanalysiertverschiedeneDatenbankoperatorenbe-
züglichihresVerhaltensaufverschiedenenHardwareumgebungen.Die-
se Analyse ermöglicht es, Datenbankoperatoren besser zu verstehen
und Kostenmodell für ihr Verhalten zu erstellen.
Der vierte Ansatz dieser Arbeit baut auf der Analyse der Operato-
ren auf und führt einen progressiven Optimierungsalgorithmus ein der
dieAusführungvonAnfragenzurLaufzeitaufdiejeweiligenBedingun-
genwiez.B.Daten-oderHardwareeigenschaftenanpasst.Dazuwerden
zur Laufzeit prozessorinterne Zähler verwendet die das Verhalten des
Operators auf der jeweiligen Hardware widerspiegeln.
V

Contents
1 Introduction 1
1.1 Research Contributions. . . . . . . . . . . . . . . . . . . . . . 2
1.2 Organization of this Thesis . . . . . . . . . . . . . . . . . . . 3
2 Modern CPUs 5
2.1 Modern CPU Features . . . . . . . . . . . . . . . . . . . . . . 5
2.1.1 Pipelining . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.1.2 Superscalar Execution . . . . . . . . . . . . . . . . . . 7
2.1.3 Out-of-Order Execution . . . . . . . . . . . . . . . . . 8
2.2 Multi-Core and SMT . . . . . . . . . . . . . . . . . . . . . . . 9
2.3 SIMD Instructions . . . . . . . . . . . . . . . . . . . . . . . . 11
2.4 Cache Hierarchy . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.4.1 Cache Architecture . . . . . . . . . . . . . . . . . . . . 14
2.4.2 Caches in DBMS . . . . . . . . . . . . . . . . . . . . . 16
2.4.3 Stalls in DBMS . . . . . . . . . . . . . . . . . . . . . . 16
2.4.4 CPU Buffer . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4.5 Locality . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3 Exploiting SIMD for Query Execution 25
3.1 SIMD for Databases . . . . . . . . . . . . . . . . . . . . . . . 26
3.1.1 SIMD Usage in Databases . . . . . . . . . . . . . . . . 26
3.1.2 SIMD Usage for Indices . . . . . . . . . . . . . . . . . 30
3.2 SIMD supported Tree Operations . . . . . . . . . . . . . . . . 32
3.3 SIMD for Comparison . . . . . . . . . . . . . . . . . . . . . . 34
3.3.1 SIMD Comparison Sequence . . . . . . . . . . . . . . . 34
3.3.2 Bitmask Evaluation . . . . . . . . . . . . . . . . . . . 36
3.3.3 SIMD Comparison Costs . . . . . . . . . . . . . . . . . 37
3.3.4 SIMD on Unsigned Data Types . . . . . . . . . . . . . 38
3.4 K-ary Search . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.5 Segmented Tree . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.5.1 Using k-ary Search in B+-Trees . . . . . . . . . . . . . 42
3.5.2 Algorithms for Linearization . . . . . . . . . . . . . . . 44
3.5.3 Arbitrary Sized Search Spaces . . . . . . . . . . . . . . 46
VII
Contents
3.5.4 Seg-Tree Performance . . . . . . . . . . . . . . . . . . 47
3.6 Segmented Trie . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.7 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.7.1 Experimental Setup . . . . . . . . . . . . . . . . . . . 51
3.7.2 Bitmask Evaluation . . . . . . . . . . . . . . . . . . . 52
3.7.3 Evaluation K-ary Search . . . . . . . . . . . . . . . . . 53
3.7.4 Evaluation Seg-Tree . . . . . . . . . . . . . . . . . . . 54
3.7.5 Evaluation Seg-Trie . . . . . . . . . . . . . . . . . . . 56
3.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4 Scheduling Query Execution 59
4.1 Scheduling in Databases . . . . . . . . . . . . . . . . . . . . . 61
4.1.1 Classification of Database Schedulers . . . . . . . . . . 61
4.1.2 Scheduling Approaches in Database Systems . . . . . . 65
4.2 Query Task Model . . . . . . . . . . . . . . . . . . . . . . . . 68
4.2.1 QTM Overview . . . . . . . . . . . . . . . . . . . . . . 68
4.2.2 Dynamic Load Balancing in QTM . . . . . . . . . . . 70
4.2.3 QTM Specification . . . . . . . . . . . . . . . . . . . . 72
4.2.4 Parallelism in QTM . . . . . . . . . . . . . . . . . . . 74
4.3 Query Execution Schedules . . . . . . . . . . . . . . . . . . . 74
4.4 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.4.1 Experimental Setup . . . . . . . . . . . . . . . . . . . 80
4.4.2 Test Schedules . . . . . . . . . . . . . . . . . . . . . . 82
4.4.3 Run-time . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.4.4 Time Distribution . . . . . . . . . . . . . . . . . . . . 85
4.4.5 Scalability . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5 Counter-Based Query Analysis 93
5.1 Performance Counters for Databases . . . . . . . . . . . . . . 94
5.2 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.3 Case Study Selection . . . . . . . . . . . . . . . . . . . . . . . 97
5.4 Branch Prediction . . . . . . . . . . . . . . . . . . . . . . . . 99
5.5 Cache Misses . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
5.6 Prefetching . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.6.1 L1D Hardware Prefetchers . . . . . . . . . . . . . . . . 106
5.6.2 L2 Hardware Prefetchers . . . . . . . . . . . . . . . . . 109
5.7 Parallel Execution . . . . . . . . . . . . . . . . . . . . . . . . 110
5.7.1 Degree of Parallelism . . . . . . . . . . . . . . . . . . . 110
5.7.2 Time Distribution . . . . . . . . . . . . . . . . . . . . 112
5.7.3 Run-time Characteristics . . . . . . . . . . . . . . . . 114
5.7.4 Scalability . . . . . . . . . . . . . . . . . . . . . . . . . 116
5.8 Cost Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
5.9 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
VIII
Contents
6 Counter-Based Query Execution 119
6.1 Progressive Optimization for Databases . . . . . . . . . . . . 120
6.2 Related Work on Progressive Optimization . . . . . . . . . . . 121
6.3 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
6.3.1 From Relational Algebra to Machine Code . . . . . . . 123
6.3.2 Performance Counters . . . . . . . . . . . . . . . . . . 124
6.4 Cost Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
6.4.1 Cache Cost Model . . . . . . . . . . . . . . . . . . . . 126
6.4.2 Branch Cost Model . . . . . . . . . . . . . . . . . . . . 128
6.5 Optimization Approach . . . . . . . . . . . . . . . . . . . . . 133
6.5.1 Search Space Restriction . . . . . . . . . . . . . . . . . 134
6.5.2 Learning Algorithm . . . . . . . . . . . . . . . . . . . 137
6.5.3 Selection a Starting Point . . . . . . . . . . . . . . . . 138
6.5.4 Progressive Optimization Algorithm . . . . . . . . . . 140
6.5.5 Skew and Correlation . . . . . . . . . . . . . . . . . . 141
6.6 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
6.6.1 Experimental Setup . . . . . . . . . . . . . . . . . . . 142
6.6.2 TPC-H Common Case . . . . . . . . . . . . . . . . . . 142
6.6.3 Selectivity Distribution . . . . . . . . . . . . . . . . . 143
6.6.4 Sortedness . . . . . . . . . . . . . . . . . . . . . . . . . 144
6.6.5 Sortedness and Expensive Predicates . . . . . . . . . . 146
6.6.6 Sortedness for Foreign Key Join . . . . . . . . . . . . . 147
6.6.7 Overhead . . . . . . . . . . . . . . . . . . . . . . . . . 148
6.7 Conclusion and Future Work . . . . . . . . . . . . . . . . . . 149
7 Conclusion 151
7.1 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
7.2 Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
IX