Guided Randomness in Optimization

320 Pages·2015·6.25 MB·English

by  Maurice Clerc

9781848218055-Case.qxp_Layout 1 10/04/2015 16:42 Page 1
COMPUTER ENGINEERING SERIES
METAHEURISTICS SET
1
Coordinated by Nicolas Monmarché et Patrick Siarry
METAHEURISTICS SET
Optimization metaheuristics proceed to “pot luck” as to M
a
whether to carry out certain choices or apply certain rules, u
r
ic
for which they must use one or several random number e
C
generators (RNGs). le
r
c

There are several types of RNG, from the truly random to the
simply coded. They can be manipulated to produce specific
distributions.The performances of an algorithm depend on
the RNG used.
This book concerns the comparison of optimizers, it defines
an effort–result approach where all classical (median,
average, etc.) and some more sophisticated criteria can be
derived.
G
The source codes used for examples are also presented, u
i
d
which enables a reflection of the “unnecessary e
d
randomness”, succinctly explaining why and how the
R
Volume 1
stochastic aspect of the optimization could be avoided in a
n
certain cases. d
o
m Guided Randomness
n
e
s
s

i in Optimization
n
Maurice Clerc is a world-renowned specialist in particle
O
swarm optimization. His research and consulting activities p
t
concern the resolution of optimization problems. im
i
z
a
t
i
o
n
Maurice Clerc
Z(7ib8e8-CBIAFF(
www.iste.co.uk

Guided Randomness in Optimization
"Le hasard ne fait toujours que la moitié du chemin"
(Luck will only get you halfway)

Yvon Rivard
Metaheuristics Set
coordinated by
Nicolas Monmarché and Patrick Siarry
Volume 1
Guided Randomness
in Optimization

Maurice Clerc
First published 2015 in Great Britain and the United States by ISTE Ltd and John Wiley & Sons, Inc.
Apart from any fair dealing for the purposes of research or private study, or criticism or review, as
permitted under the Copyright, Designs and Patents Act 1988, this publication may only be reproduced,
stored or transmitted, in any form or by any means, with the prior permission in writing of the publishers,
or in the case of reprographic reproduction in accordance with the terms and licenses issued by the
CLA. Enquiries concerning reproduction outside these terms should be sent to the publishers at the
undermentioned address:
ISTE Ltd John Wiley & Sons, Inc.
27-37 St George’s Road 111 River Street
London SW19 4EU Hoboken, NJ 07030
UK USA
www.iste.co.uk www.wiley.com

© ISTE Ltd 2015
The rights of Maurice Clerc to be identified as the author of this work have been asserted by him in
accordance with the Copyright, Designs and Patents Act 1988.
Library of Congress Control Number: 2015937136

British Library Cataloguing-in-Publication Data
A CIP record for this book is available from the British Library
ISBN 978-1-84821-805-5
Contents
PREFACE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi
INTRODUCTION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xv
PART 1. RANDOMNESS IN OPTIMIZATION . . . . . . . . . . . . . . . 1
CHAPTER 1. NECESSARY RISK . . . . . . . . . . . . . . . . . . . . . 3
1.1.Nobetterthanrandomsearch . . . . . . . . . . . . . . . . . . . . 3
1.1.1.Uniformrandomsearch . . . . . . . . . . . . . . . . . . . . . 4
1.1.2.Sequentialsearch . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.3.Partialgradient . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2.Betterorworsethanrandomsearch . . . . . . . . . . . . . . . . 7
1.2.1.Positivecorrelationproblems . . . . . . . . . . . . . . . . . . 8
1.2.2.Negativecorrelationproblems . . . . . . . . . . . . . . . . . 10
CHAPTER 2. RANDOM NUMBER GENERATORS (RNGS) . . . . . . 13
2.1.Generatortypes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.Truerandomness . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3.Simulatedrandomness . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3.1.KISS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.3.2.Mersenne-Twister . . . . . . . . . . . . . . . . . . . . . . . . 16
2.4.Simplifiedrandomness . . . . . . . . . . . . . . . . . . . . . . . . 17
2.4.1.Linearcongruentialgenerators . . . . . . . . . . . . . . . . . 18
2.4.2.Additive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.4.3.Multiplicative . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
vi GuidedRandomnessinOptimization
2.5.Guidedrandomness . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.5.1.Gaussian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.5.2.Bell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.5.3.Cauchy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.5.4.Lévy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.5.5.Log-normal . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.5.6.Compositedistributions . . . . . . . . . . . . . . . . . . . . . 28
CHAPTER 3. THE EFFECTS OF RANDOMNESS . . . . . . . . . . . . 33
3.1.Initialization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.1.1.Uniformrandomness. . . . . . . . . . . . . . . . . . . . . . . 34
3.1.2.Lowdivergence. . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.1.3.NoMan’sLandtechniques . . . . . . . . . . . . . . . . . . . 37
3.2.Movement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.3.DistributionoftheNextPossiblePositions(DNPP) . . . . . . . 40
3.4.Confinement,constraintsandrepairs . . . . . . . . . . . . . . . . 42
3.4.1.Strictconfinement . . . . . . . . . . . . . . . . . . . . . . . . 44
3.4.2.Randomconfinement . . . . . . . . . . . . . . . . . . . . . . 44
3.4.3.Moderateconfinement . . . . . . . . . . . . . . . . . . . . . . 45
3.4.4.Reverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4.5.Reflection-diffusion . . . . . . . . . . . . . . . . . . . . . . . 45
3.5.Strategyselection . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
PART 2. OPTIMIZER COMPARISON . . . . . . . . . . . . . . . . . . . 49
CHAPTER 4. ALGORITHMS AND OPTIMIZERS . . . . . . . . . . . . 53
4.1.TheMinimalistealgorithm . . . . . . . . . . . . . . . . . . . . . 54
4.1.1.Generaldescription . . . . . . . . . . . . . . . . . . . . . . . 54
4.1.2.Minimalisteinpractice . . . . . . . . . . . . . . . . . . . . . 54
4.1.3.Useofrandomness . . . . . . . . . . . . . . . . . . . . . . . . 57
4.2.PSO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.2.1.Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.2.2.Useofrandomness . . . . . . . . . . . . . . . . . . . . . . . . 60
4.3.APS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.3.1.Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.3.2.Usesofrandomness . . . . . . . . . . . . . . . . . . . . . . . 65
4.4.Applicationsofrandomness . . . . . . . . . . . . . . . . . . . . . 66
Contents vii
CHAPTER 5. PERFORMANCE CRITERIA . . . . . . . . . . . . . . . . 69
5.1.Eff-Res: constructionandproperties . . . . . . . . . . . . . . . . 69
5.1.1.Simpleexampleusingrandomsearch . . . . . . . . . . . . . 71
5.2.Criteriaandmeasurements . . . . . . . . . . . . . . . . . . . . . 74
5.2.1.Objectivecriteria . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.2.2.Semi-subjectivecriteria . . . . . . . . . . . . . . . . . . . . . 87
5.3.PracticalconstructionofanEff-Res . . . . . . . . . . . . . . . . 94
5.3.1.Detailedexample: (Minimaliste,Alpine2D) . . . . . . . . . 95
5.3.2.Qualitativeinterpretations . . . . . . . . . . . . . . . . . . . . 106
5.4.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
CHAPTER 6. COMPARING OPTIMIZERS . . . . . . . . . . . . . . . . 109
6.1.Datacollectionandpreprocessing . . . . . . . . . . . . . . . . . 111
6.2.Criticalanalysisofcomparisons . . . . . . . . . . . . . . . . . . 114
6.2.1.Influenceofcriteriaandthenumberofattempts . . . . . . . 115
6.2.2.Influenceofeffortlevels . . . . . . . . . . . . . . . . . . . . . 115
6.2.3.Globalcomparison . . . . . . . . . . . . . . . . . . . . . . . . 117
6.2.4.InfluenceoftheRNG . . . . . . . . . . . . . . . . . . . . . . 121
6.3.Uncertaintyinstatisticalanalysis . . . . . . . . . . . . . . . . . . 123
6.3.1.Independenceoftests . . . . . . . . . . . . . . . . . . . . . . 125
6.3.2.Confidencethreshold . . . . . . . . . . . . . . . . . . . . . . 125
6.3.3.Successrate . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
6.4.Remarksontestsets . . . . . . . . . . . . . . . . . . . . . . . . . 125
6.4.1.Analysisgrid . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
6.4.2.Representativity . . . . . . . . . . . . . . . . . . . . . . . . . 129
6.5.Precisionandprudence . . . . . . . . . . . . . . . . . . . . . . . 130
PART 3 . APPENDICES . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
CHAPTER 7. MATHEMATICAL NOTIONS . . . . . . . . . . . . . . . . 133
7.1.Setsclosedunderpermutations . . . . . . . . . . . . . . . . . . . 133
7.2.Drawingwithorwithoutrepetition . . . . . . . . . . . . . . . . . 133
7.3.PropertiesoftheAdditiveandMultiplicativegenerators . . . . . 135
7.3.1.Additive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
7.3.2.Multiplicative . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
viii GuidedRandomnessinOptimization
CHAPTER 8. BIASES AND SIGNATURES . . . . . . . . . . . . . . . . . 139
8.1.Theimpossibleplateau . . . . . . . . . . . . . . . . . . . . . . . 139
8.2.Optimizersignatures . . . . . . . . . . . . . . . . . . . . . . . . . 140
CHAPTER 9. A PSEUDO-SCIENTIFIC ARTICLE . . . . . . . . . . . . 147
9.1.Article . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
9.2.Criticism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
CHAPTER 10. COMMON MISTAKES . . . . . . . . . . . . . . . . . . . 155
CHAPTER 11. UNNECESSARY RANDOMNESS?
LIST-BASED OPTIMIZERS . . . . . . . . . . . . . . . . . . . . . . . . . 159
11.1.Truncatedlists . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
11.2.Semi-empiricallists. . . . . . . . . . . . . . . . . . . . . . . . . 162
11.3.Micro-robots. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
CHAPTER 12. PROBLEMS . . . . . . . . . . . . . . . . . . . . . . . . . 167
12.1.Deceptive1(Flash) . . . . . . . . . . . . . . . . . . . . . . . . . 167
12.2.Deceptive2(Comb) . . . . . . . . . . . . . . . . . . . . . . . . 167
12.3.Deceptive3(Brush). . . . . . . . . . . . . . . . . . . . . . . . . 168
12.4.Alpine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
12.5.Rosenbrock . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
12.6.Pressurevessel . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
12.7.Sphere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
12.8.Travelingsalesman: sixcities . . . . . . . . . . . . . . . . . . . 170
12.9.Travelingsalesman: fourteencities(Burma14) . . . . . . . . . 170
12.10.Tripod. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
12.11.Geartrain . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
CHAPTER 13. SOURCE CODES . . . . . . . . . . . . . . . . . . . . . . 173
13.1.Randomgenerationandsampling . . . . . . . . . . . . . . . . . 173
13.1.1.PreambleforScilabcodes . . . . . . . . . . . . . . . . . . . 174
13.1.2.Drawingofapseudo-randomnumber,
accordingtooptions . . . . . . . . . . . . . . . . . . . . . . . 174
13.1.3.Truerandomness . . . . . . . . . . . . . . . . . . . . . . . . 178
13.1.4.Guidedrandomness. . . . . . . . . . . . . . . . . . . . . . . 179
13.1.5.Uniforminitializations(continuous,combinatorial). . . . . 183