Table Of ContentChapman & Hall/CRC Artificial Intelligence and Robotics Series
TOWARD DEEP NEURAL
NETWORKS
WASD NEURONET MODELS, ALGORITHMS, AND
APPLICATIONS
Yunong Zhang, Dechao Chen, and Chengxu Ye
A Chapman & Hall Book
Toward Deep
Neural Networks
WASD Neuronet Models, Algorithms,
and Applications
Toward Deep
Neural Networks
WASD Neuronet Models, Algorithms,
and Applications
Yunong Zhang
Dechao Chen
Chengxu Ye
CRCPress
Taylor&FrancisGroup
6000BrokenSoundParkwayNW,Suite300
BocaRaton,FL33487-2742
(cid:13)c 2019byTaylor&FrancisGroup,LLC
CRCPressisanimprintofTaylor&FrancisGroup,anInformabusiness
NoclaimtooriginalU.S.Governmentworks
Printedonacid-freepaper
InternationalStandardBookNumber-13:978-1-138-38703-4(Hardback)
Thisbookcontainsinformationobtainedfromauthenticandhighlyregardedsources.Reasonableeffortshavebeenmade
topublishreliabledataandinformation,buttheauthorandpublishercannotassumeresponsibilityforthevalidityofall
materialsortheconsequencesoftheiruse.Theauthorsandpublishershaveattemptedtotracethecopyrightholdersofall
materialreproducedinthispublicationandapologizetocopyrightholdersifpermissiontopublishinthisformhasnotbeen
obtained.Ifanycopyrightmaterialhasnotbeenacknowledgedpleasewriteandletusknowsowemayrectifyinanyfuture
reprint.
ExceptaspermittedunderU.S.CopyrightLaw,nopartofthisbookmaybereprinted,reproduced,transmitted,orutilized
inanyformbyanyelectronic,mechanical,orothermeans,nowknownorhereafterinvented,includingphotocopying,mi-
crofilming,andrecording,orinanyinformationstorageorretrievalsystem,withoutwrittenpermissionfromthepublishers.
For permission to photocopy or use material electronically from this work, please access www.copyright.com
(http://www.copyright.com/)orcontacttheCopyrightClearanceCenter,Inc.(CCC),222RosewoodDrive,Danvers,MA
01923,978-750-8400.CCCisanot-for-profitorganizationthatprovideslicensesandregistrationforavarietyofusers.For
organizationsthathavebeengrantedaphotocopylicensebytheCCC,aseparatesystemofpaymenthasbeenarranged.
TrademarkNotice:Productorcorporatenamesmaybetrademarksorregisteredtrademarks,andareusedonlyforidenti-
ficationandexplanationwithoutintenttoinfringe.
LibraryofCongressCataloging-in-PublicationData
Names:Zhang,Yunong,author. Chen,Dechao,author. Ye,Chengxu,author.
| |
Title:Towarddeepneuralnetworks:WASDneuronetmodels,algorithms,andapplications/
YunongZhang,DechaoChen,ChengxuYe.
Description:BocaRaton,Florida:CRCPress,[2019] Series:Chapman&Hall/CRCartificial
|
intelligenceandroboticsseries Includesbibliographicalreferencesandindex.
|
Identifiers:LCCN2018050905 ISBN9781138387034(hardback:acid-freepaper)
| |
ISBN9780429426445(ebook)
Subjects:LCSH:Neuralnetworks(Computerscience)
Classification:LCCQA76.87.Z475372019 DDC006.3/2--dc23
|
LCrecordavailableathttps://lccn.loc.gov/2018050905
VisittheTaylor&FrancisWebsiteat
http://www.taylorandfrancis.com
andtheCRCPressWebsiteat
http://www.crcpress.com
Toourparentsand
ancestors,asalways
Contents
Preface xv
Authors xxiii
Acknowledgments xxv
I Single-Input-Single-OutputNeuronet 1
1 Single-InputEuler-PolynomialWASDNeuronet 3
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 NeuronetModelandTheoreticalBasis . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 WASDAlgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3.1 Weightsdirectdetermination . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3.2 Structureautomaticdetermination . . . . . . . . . . . . . . . . . . . . . . 7
1.4 NumericalStudies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.5 ChapterSummary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
AppendixA:The5thto25thEulerPolynomials . . . . . . . . . . . . . . . . . . . . . 11
2 Single-InputBernoulli-PolynomialWASDNeuronet 15
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2 NeuronetModelandTheoreticalBasis . . . . . . . . . . . . . . . . . . . . . . . 17
2.3 WASDAlgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.3.1 Weightsdirectdetermination . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.3.2 Structureautomaticdetermination . . . . . . . . . . . . . . . . . . . . . . 18
2.4 NumericalStudies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.5 ChapterSummary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
AppendixB:The5thto25thBernoulliPolynomials . . . . . . . . . . . . . . . . . . . 23
3 Single-InputLaguerre-PolynomialWASDNeuronet 25
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2 NeuronetModelandTheoreticalBasis . . . . . . . . . . . . . . . . . . . . . . . 26
3.3 WASDAlgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.3.1 Weightsdirectdetermination . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.3.2 Structureautomaticdetermination . . . . . . . . . . . . . . . . . . . . . . 28
3.4 NumericalStudies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.5 ChapterSummary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
vii
viii Contents
II Two-Input-Single-OutputNeuronet 33
4 Two-InputLegendre-PolynomialWASDNeuronet 35
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.2 TheoreticalBasis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.3 NeuronetModelandWASDAlgorithms . . . . . . . . . . . . . . . . . . . . . . . 39
4.3.1 Two-inputLegendre-polynomialneuronetmodel . . . . . . . . . . . . . . 39
4.3.2 TwoWASDalgorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.4 NumericalStudies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.5 ChapterSummary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5 Two-InputChebyshev-Polynomial-of-Class-1WASDNeuronet 47
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
5.2 TheoreticalBasis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.3 NeuronetModelandWASDAlgorithm . . . . . . . . . . . . . . . . . . . . . . . 49
5.3.1 Two-inputChebyshev-polynomial-of-Class-1neuronetmodel . . . . . . . 50
5.3.2 WASDalgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.4 NumericalStudies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.5 ChapterSummary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
6 Two-InputChebyshev-Polynomial-of-Class-2WASDNeuronet 63
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
6.2 TheoreticalBasis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
6.3 NeuronetModelandWASDAlgorithm . . . . . . . . . . . . . . . . . . . . . . . 65
6.3.1 Two-inputChebyshev-polynomial-of-Class-2neuronetmodel . . . . . . . 65
6.3.2 WASDalgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
6.4 NumericalStudies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
6.5 ChapterSummary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
III Three-Input-Single-OutputNeuronet 75
7 Three-InputEuler-PolynomialWASDNeuronet 77
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
7.2 TheoreticalBasis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
7.3 NeuronetModelandWASDAlgorithm . . . . . . . . . . . . . . . . . . . . . . . 82
7.3.1 Three-inputEuler-polynomialneuronetmodel . . . . . . . . . . . . . . . 83
7.3.2 WASDalgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
7.4 NumericalStudies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
7.5 ChapterSummary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
8 Three-InputPower-ActivationWASDNeuronet 93
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
8.2 TheoreticalBasisandAnalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
8.3 NeuronetModelandWASDAlgorithm . . . . . . . . . . . . . . . . . . . . . . . 97
8.3.1 Three-inputpower-activationneuronetmodel . . . . . . . . . . . . . . . . 97
8.3.2 WASDalgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
Contents ix
8.4 NumericalStudies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
8.4.1 Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
8.4.2 Testingandprediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
8.4.3 Furthersimplification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
8.5 ChapterSummary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
IV GeneralMulti-InputNeuronet 105
9 Multi-InputEuler-PolynomialWASDNeuronet 107
9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
9.2 TheoreticalBasisandAnalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
9.3 MIEPNModel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
9.4 WDDSubalgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
9.5 WASDAlgorithmwithPWGandTPTechniques . . . . . . . . . . . . . . . . . . 114
9.6 NumericalStudies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
9.7 ChapterSummary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
AppendixC:DetailedDerivationofNormalEquation . . . . . . . . . . . . . . . . . . 122
AppendixD:SupplementalTheorems . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
10 Multi-InputBernoulli-PolynomialWASDNeuronet 125
10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
10.2 NeuronetModelandTheoreticalBasis . . . . . . . . . . . . . . . . . . . . . . . 126
10.2.1 FIBPNmodel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
10.2.2 Theoreticalbasis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
10.3 WeightsandStructureDetermination . . . . . . . . . . . . . . . . . . . . . . . . 128
10.3.1 Pruning-while-growingtechnique . . . . . . . . . . . . . . . . . . . . . . 130
10.3.2 Pruning-after-growntechnique . . . . . . . . . . . . . . . . . . . . . . . . 131
10.4 NumericalStudies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
10.4.1 ComparativenumericalresultsofPWGtechnique . . . . . . . . . . . . . . 131
10.4.2 ComparativenumericalresultsofPAGtechnique . . . . . . . . . . . . . . 133
10.4.3 NumericalcomparisonwithconventionalBPneuronets . . . . . . . . . . . 133
10.5 ExtensiontoRobustClassification . . . . . . . . . . . . . . . . . . . . . . . . . . 134
10.6 ChapterSummary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
11 Multi-InputHermite-PolynomialWASDNeuronet 137
11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
11.2 MIHPNModelandWASDAlgorithm . . . . . . . . . . . . . . . . . . . . . . . . 138
11.2.1 MIHPNmodel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
11.2.2 WASDalgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
11.3 NumericalStudies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
11.3.1 Trainingandtesting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
11.3.2 Denoising . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
11.4 ChapterSummary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
AppendixE:RelatedDefinitionandLemmaaboutApproximationAbilityofHP . . . . 148
