MATLAB Machine Learning Recipes: A Problem-Solution Approach

358 Pages·2018·13.88 MB·English

by  Michael Paluszek

MATLAB Machine
Learning Recipes
A Problem-Solution Approach
—
Second Edition
—
Michael Paluszek
Stephanie Thomas
MATLAB Machine
Learning Recipes
A Problem-Solution Approach
Second Edition
Michael Paluszek
Stephanie Thomas
MATLABMachineLearningRecipes:AProblem-SolutionApproach
MichaelPaluszek StephanieThomas
Plainsboro,NJ Plainsboro,NJ
USA USA
ISBN-13(pbk):978-1-4842-3915-5 ISBN-13(electronic):978-1-4842-3916-2
https://doi.org/10.1007/978-1-4842-3916-2
LibraryofCongressControlNumber:2018967208
Copyright©2019byMichaelPaluszekandStephanieThomas
Thisworkissubjecttocopyright.AllrightsarereservedbythePublisher,whetherthewholeorpartofthematerialis
concerned,specificallytherightsoftranslation,reprinting,reuseofillustrations,recitation,broadcasting,reproductionon
microfilmsorinanyotherphysicalway,andtransmissionorinformationstorageandretrieval,electronicadaptation,
computersoftware,orbysimilarordissimilarmethodologynowknownorhereafterdeveloped.
Trademarkednames,logos,andimagesmayappearinthisbook.Ratherthanuseatrademarksymbolwithevery
occurrenceofatrademarkedname,logo,orimageweusethenames,logos,andimagesonlyinaneditorialfashionandto
thebenefitofthetrademarkowner,withnointentionofinfringementofthetrademark.
Theuseinthispublicationoftradenames,trademarks,servicemarks,andsimilarterms,eveniftheyarenotidentifiedas
such,isnottobetakenasanexpressionofopinionastowhetherornottheyaresubjecttoproprietaryrights.
Whiletheadviceandinformationinthisbookarebelievedtobetrueandaccurateatthedateofpublication,neitherthe
authorsnortheeditorsnorthepublishercanacceptanylegalresponsibilityforanyerrorsoromissionsthatmaybemade.
Thepublishermakesnowarranty,expressorimplied,withrespecttothematerialcontainedherein.
ManagingDirector,ApressMediaLLC:WelmoedSpahr
AcquisitionsEditor:SteveAnglin
DevelopmentEditor:MatthewMoodie
CoordinatingEditor:MarkPowers
CoverdesignedbyeStudioCalamar
CoverimagedesignedbyFreepik(http://www.freepik.com)
DistributedtothebooktradeworldwidebySpringerScience+BusinessMediaNewYork,233SpringStreet,6thFloor,
NewYork,NY10013.Phone1-800-SPRINGER,fax[phone],[email protected],or
visitwww.springeronline.com.ApressMedia,LLCisaCaliforniaLLCandthesolemember(owner)isSpringer
Science+BusinessMediaFinanceInc(SSBMFinanceInc).SSBMFinanceIncisaDelawarecorporation.
Forinformationontranslations,[email protected],orvisitwww.apress.com.
ApressandfriendsofEDbooksmaybepurchasedinbulkforacademic,corporate,orpromotionaluse.eBookversions
andlicensesarealsoavailableformosttitles.Formoreinformation,referenceourSpecialBulkSales-eBookLicensing
webpageatwww.apress.com/bulk-sales.
Anysourcecodeorothersupplementarymaterialsreferencedbytheauthorinthistextareavailabletoreadersat
www.apress.com.Fordetailedinformationabouthowtolocateyourbook’ssourcecode,goto
www.apress.com/source-code/. ReaderscanalsoaccesssourcecodeatSpringerLinkintheSupplementary
Materialsectionforeachchapter.
Printedonacid-freepaper
Contents
AbouttheAuthors XV
Introduction XVII
1 AnOverviewofMachineLearning 1
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 ElementsofMachineLearning . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.1 Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.2 Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.3 Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.3.1 SupervisedLearning . . . . . . . . . . . . . . . . . . . . 3
1.2.3.2 Unsupervised Learning . . . . . . . . . . . . . . . . . . . 4
1.2.3.3 Semi-SupervisedLearning . . . . . . . . . . . . . . . . . 4
1.2.3.4 OnlineLearning . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 TheLearningMachine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 TaxonomyofMachineLearning . . . . . . . . . . . . . . . . . . . . . . . . 6
1.5 Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.5.1 KalmanFilters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.5.2 AdaptiveControl . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.6 AutonomousLearningMethods . . . . . . . . . . . . . . . . . . . . . . . . 9
1.6.1 Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.6.2 DecisionTrees . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.6.3 NeuralNetworks . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.6.4 SupportVectorMachines . . . . . . . . . . . . . . . . . . . . . . . 15
1.7 ArtificialIntelligence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.7.1 WhatisArtificialIntelligence? . . . . . . . . . . . . . . . . . . . . 16
1.7.2 Intelligent Cars . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.7.3 ExpertSystems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
III
CONTENTS
2 Representation ofDataforMachineLearninginMATLAB 19
2.1 Introduction toMATLABDataTypes . . . . . . . . . . . . . . . . . . . . . 19
2.1.1 Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.2 CellArrays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.1.3 DataStructures . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.1.4 Numerics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.1.5 Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.1.6 Datastore . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.1.7 TallArrays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.1.8 SparseMatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1.9 TablesandCategoricals . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1.10 LargeMAT-Files . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2 Initializing aDataStructureUsingParameters . . . . . . . . . . . . . . . . . 30
2.2.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.2.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.2.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.3 PerformingMapReduceonanImageDatastore . . . . . . . . . . . . . . . . 33
2.3.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.3.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.3.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4 CreatingaTablefromaFile . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.4.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.5 ProcessingTableData . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.5.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.5.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.5.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.6 UsingMATLABStrings . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.6.1 StringConcatenation . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.6.1.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.6.1.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.6.1.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . 41
2.6.2 ArraysofStrings . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.6.2.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.6.2.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.6.2.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . 41
2.6.3 Substrings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.6.3.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.6.3.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.6.3.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . 42
2.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
IV
CONTENTS
3 MATLABGraphics 45
3.1 2DLinePlots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.1.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.1.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.1.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.2 General2DGraphics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.2.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.2.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.2.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.3 CustomTwo-DimensionalDiagrams . . . . . . . . . . . . . . . . . . . . . . 50
3.3.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.3.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.3.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.4 Three-Dimensional Box . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.4.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.4.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.4.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.5 Drawa3DObjectwithaTexture . . . . . . . . . . . . . . . . . . . . . . . . 54
3.5.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.5.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.5.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.6 General3DGraphics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.6.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.6.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.6.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.7 BuildingaGUI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.7.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.7.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.7.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.8 AnimatingaBarChart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.8.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.8.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.8.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.9 DrawingaRobot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.9.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.9.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.9.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.10 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
V
CONTENTS
4 KalmanFilters 73
4.1 AStateEstimatorUsingaLinearKalmanFilter . . . . . . . . . . . . . . . . 74
4.1.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.1.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.1.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.2 UsingtheExtendedKalmanFilterforStateEstimation . . . . . . . . . . . . 92
4.2.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.2.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.2.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.3 UsingtheUnscented KalmanFilterforStateEstimation . . . . . . . . . . . 97
4.3.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
4.3.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
4.3.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.4 UsingtheUKFforParameterEstimation . . . . . . . . . . . . . . . . . . . 104
4.4.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.4.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.4.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
5 AdaptiveControl 109
5.1 SelfTuning: ModelinganOscillator . . . . . . . . . . . . . . . . . . . . . . 110
5.2 SelfTuning: TuninganOscillator . . . . . . . . . . . . . . . . . . . . . . . 112
5.2.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.2.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.2.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.3 ImplementModelReference AdaptiveControl . . . . . . . . . . . . . . . . 117
5.3.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.3.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.3.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.4 GeneratingaSquareWaveInput . . . . . . . . . . . . . . . . . . . . . . . . 121
5.4.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
5.4.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
5.4.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
5.5 DemonstrateMRACforaRotor . . . . . . . . . . . . . . . . . . . . . . . . 123
5.5.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
5.5.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
5.5.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
5.6 ShipSteering: ImplementGainSchedulingforSteeringControl
ofaShip . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.6.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.6.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.6.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
VI
CONTENTS
5.7 SpacecraftPointing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.7.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.7.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.7.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
6 FuzzyLogic 135
6.1 BuildingFuzzyLogicSystems . . . . . . . . . . . . . . . . . . . . . . . . . 136
6.1.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
6.1.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
6.1.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
6.2 ImplementFuzzyLogic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.2.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.2.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.2.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.3 DemonstrateFuzzyLogic. . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
6.3.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
6.3.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
6.3.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
6.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
7 DataClassification withDecisionTrees 147
7.1 GenerateTestData . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
7.1.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
7.1.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
7.1.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
7.2 DrawingDecisionTrees . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
7.2.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
7.2.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
7.2.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
7.3 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
7.3.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
7.3.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
7.3.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
7.4 CreatingaDecisiontree . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
7.4.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
7.4.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
7.4.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
7.5 CreatingaHandmadeTree . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
7.5.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
7.5.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
7.5.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
VII
CONTENTS
7.6 TrainingandTesting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.6.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.6.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.6.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
7.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
8 IntroductiontoNeuralNets 171
8.1 DaylightDetector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
8.1.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
8.1.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
8.1.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
8.2 ModelingaPendulum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
8.2.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
8.2.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
8.2.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
8.3 SingleNeuronAngleEstimator. . . . . . . . . . . . . . . . . . . . . . . . . 177
8.3.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
8.3.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
8.3.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
8.4 DesigningaNeuralNetforthePendulum . . . . . . . . . . . . . . . . . . . 182
8.4.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
8.4.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
8.4.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
8.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
9 Classification ofNumbersUsingNeuralNetworks 187
9.1 GenerateTestImageswithDefects . . . . . . . . . . . . . . . . . . . . . . . 188
9.1.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
9.1.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
9.1.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
9.2 CreatetheNeuralNetFunctions . . . . . . . . . . . . . . . . . . . . . . . . 192
9.2.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
9.2.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
9.2.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
9.3 TrainaNetworkwithOneOutputNode . . . . . . . . . . . . . . . . . . . . 197
9.3.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
9.3.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
9.3.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
9.4 TestingtheNeuralNetwork . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
9.4.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
9.4.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
9.4.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
VIII
CONTENTS
9.5 TrainaNetworkwithManyOutputs . . . . . . . . . . . . . . . . . . . . . . 203
9.5.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
9.5.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
9.5.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
9.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
10 PatternRecognition withDeepLearning 209
10.1 ObtainDataOnlineforTrainingaNeuralNet . . . . . . . . . . . . . . . . . 211
10.1.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
10.1.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
10.1.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
10.2 GeneratingTrainingImagesofCats . . . . . . . . . . . . . . . . . . . . . . 211
10.2.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
10.2.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
10.2.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
10.3 MatrixConvolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
10.3.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
10.3.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
10.3.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
10.4 Convolution Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
10.4.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
10.4.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
10.4.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
10.5 PoolingtoOutputsofaLayer . . . . . . . . . . . . . . . . . . . . . . . . . 218
10.5.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
10.5.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
10.5.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
10.6 FullyConnected Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
10.6.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
10.6.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
10.6.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
10.7 DeterminingtheProbability . . . . . . . . . . . . . . . . . . . . . . . . . . 222
10.7.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
10.7.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
10.7.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
10.8 TesttheNeuralNetwork . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
10.8.1 Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
10.8.2 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
10.8.3 HowItWorks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
IX