Notes on Artificial Intelligence

697 Pages·2016·10.38 MB·English

by  Francis Tseng (@frnsys)

Notes on Artificial Intelligence
LastUpdated06.02.2016
FrancisTseng(@frnsys)
2
2
3 CONTENTS
Contents
Introduction 5
I Foundations 7
1 Functions 9
1.0.1 Identityfunctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.0.2 Theinverseofafunction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.0.3 Surjectivefunctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.0.4 Injectivefunctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.0.5 Surjective&injectivefunctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.0.6 Convexandnon-convexfunctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.0.7 Transcendentalfunctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.0.8 Logarithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2 Otherusefulconcepts 13
2.1 Solvinganalyticallyvsnumerically . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2 Linearvsnonlinearmodels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.3 Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.4 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
3 LinearAlgebra 15
3.1 Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.1.1 Realcoordinatespaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.1.2 Columnandrowvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.1.3 Transposingavector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.1.4 Vectorsoperations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
CONTENTS 3
CONTENTS 4
3.1.5 Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.1.6 Unitvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.1.7 Anglesbetweenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.1.8 Perpendicularvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.1.9 Normalvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.1.10 Orthonormalvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.1.11 Additionalvectoroperations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.2 LinearCombinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.2.1 Parametricrepresentationsoflines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.2.2 Linearcombinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.2.3 Spans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2.4 Linearindependence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.3 Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.1 Matrixoperations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.2 Hadamardproduct . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.3.3 Theidentitymatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.3.4 Diagonalmatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.3.5 Triangularmatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.3.6 Somepropertiesofmatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.3.7 Matrixinverses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.3.8 Matrixdeterminants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.3.9 Transposeofamatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.3.10 Symmetricmatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.3.11 TheTrace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.3.12 Orthogonalmatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.3.13 Adjoints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.4 Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.4.1 Spansandsubspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4.2 Basisofasubspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.3 Dimensionofasubspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.4 Nullspaceofamatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.5 Columnspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.4.6 Rank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4 CONTENTS
5 CONTENTS
3.4.7 Thestandardbasis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.4.8 Orthogonalcompliments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.4.9 Coordinateswithrespecttoabasis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4.10 Orthonormalbases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.5 Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.5.1 Lineartransformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.5.2 Kernels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.6 Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.6.1 Imageofasubsetofadomain . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.6.2 Imageofasubspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.6.3 Imageofatransformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.6.4 Preimageofaset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.7 Projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.7.1 Projectionsontosubspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.8 Identifyingtransformationproperties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.8.1 Determiningifatransformationissurjective . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.8.2 Determiningifatransformationisinjective . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.8.3 Determiningifatransformationisinvertible . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.8.4 Inversetransformationsoflineartransformations . . . . . . . . . . . . . . . . . . . . . . 58
3.9 EigenvaluesandEigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.9.1 Propertiesofeigenvaluesandeigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.9.2 Diagonalizablematrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.9.3 Eigenvalues&eigenvectorsofsymmetricmatrices . . . . . . . . . . . . . . . . . . . . . . 60
3.9.4 Eigenspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.9.5 Eigenbasis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.10 Tensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.11 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4 Calculus 63
4.1 Differentiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.1.1 Computingderivatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.1.2 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.1.3 Differentiationrules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.1.4 Higherorderderivatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
CONTENTS 5
CONTENTS 6
4.1.5 Explicitdifferentiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
4.1.6 Implicitdifferentiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
4.1.7 Derivativesoftrigonometricfunctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.1.8 Derivativesofexponentialandlogarithmicfunctions . . . . . . . . . . . . . . . . . . . . 69
4.1.9 ExtremeValueTheorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.1.10 Rolle’sTheorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.1.11 MeanValueTheorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.1.12 L’Hopital’sRule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.1.13 TaylorSeries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.2 Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.2.1 Definiteintegral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.2.2 Basicpropertiesoftheintegral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.2.3 MeanValueTheoremforIntegration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.2.4 Antiderivatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.2.5 Thefundamentaltheoremofcalculus . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.2.6 Improperintegrals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.3 MultivariableCalculus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.3.1 Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.3.2 Partialderivatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.3.3 Directionalderivatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.3.4 Gradients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.3.5 TheJacobian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.3.6 TheHessian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.3.7 Scalarandvectorfields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
4.3.8 Divergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
4.3.9 Curl . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.3.10 Optimizationwitheigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.4 DifferentialEquations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.4.1 Solvingsimpledifferentialequations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.4.2 Basicfirstorderdifferentialequations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
6 CONTENTS
7 CONTENTS
5 Probability 95
5.1 Probabilityspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.2 RandomVariables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.3 Jointanddisjointprobabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.4 ConditionalProbability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.5 Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
5.5.1 ConditionalIndependence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.6 TheChainRuleofProbability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.7 CombinationsandPermutations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.7.1 Permutations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.7.2 Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.7.3 Combinations,permutations,andprobability . . . . . . . . . . . . . . . . . . . . . . . . 101
5.8 ProbabilityDistributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
5.8.1 ProbabilityMassFunctions(PMF) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
5.8.2 ProbabilityDensityFunctions(PDF) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
5.8.3 DistributionPatterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
5.9 CumulativeDistributionFunctions(CDF) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.9.1 Discreterandomvariables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.9.2 Continuousrandomvariables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.9.3 UsingCDFs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
5.9.4 Survivalfunction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5.10 ExpectedValues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5.10.1 Discreterandomvariables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5.10.2 Continuousrandomvariables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5.10.3 Theexpectationrule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5.10.4 Jensen’sInequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5.10.5 Propertiesofexpectations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5.11 Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.11.1 Covariance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.12 CommonProbabilityDistributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.12.1 Probabilitymassfunctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.12.2 Probabilitydensityfunctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.13 Paretodistributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
CONTENTS 7
CONTENTS 8
5.14 Multiplerandomvariables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
5.14.1 Conditionaldistributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
5.14.2 MultivariateGaussian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
5.15 Bayes’Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
5.15.1 Intuition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
5.15.2 AVisualExplanation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
5.15.3 AnExampleBayes’Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.15.4 SolvingtheproblemwithBayes’Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.15.5 AnotherExample . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.15.6 NaiveBayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.16 Thelogtrick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
5.17 InformationTheory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
5.17.1 Entropy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
5.17.2 SpecificConditionalEntropy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.17.3 ConditionalEntropy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.17.4 InformationGain . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.17.5 Kullback-Leibler(KL)divergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.18 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
6 Statistics 139
6.0.1 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.1 DescriptiveStatistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.1.1 ScalesofMeasurement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.1.2 Averages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
6.1.3 PopulationvsSample . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
6.1.4 IndependentandIdenticallyDistributed . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
6.1.5 TheLawofLargeNumbers(LLN) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
6.1.6 Regressiontothemean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
6.1.7 CentralLimitTheorem(CLT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
6.1.8 Dispersion(VarianceandStandardDeviation) . . . . . . . . . . . . . . . . . . . . . . . . 143
6.1.9 Moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
6.1.10 Covariance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
6.1.11 Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
6.1.12 DegreesofFreedom . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
8 CONTENTS
9 CONTENTS
6.1.13 TimeSeriesAnalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
6.1.14 SurvivalAnalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
6.2 InferentialStatistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
6.2.1 Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
6.2.2 Estimatesandestimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
6.2.3 Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
6.2.4 PointEstimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
6.2.5 NuisanceParameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
6.2.6 ConfidenceIntervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
6.2.7 KernelDensityEstimates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
6.3 ExperimentalStatistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
6.3.1 StatisticalPower . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
6.3.2 SampleSelection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
6.3.3 TheNullHypothesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
6.3.4 Type1Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
6.3.5 PValues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
6.3.6 TheBaseRateFallacy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
6.3.7 FalseDiscoveryRate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
6.3.8 AlphaLevel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
6.3.9 TheBenjamini-HochbergProcedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
6.3.10 SumofSquares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
6.3.11 StatisticalTests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
6.3.12 EffectSize . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
6.3.13 Reliability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
6.3.14 Agreement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
6.4 HandlingData . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
6.4.1 Transformingdata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
6.4.2 Dealingwithmissingdata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
6.4.3 Resampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
6.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
CONTENTS 9
CONTENTS 10
7 BayesianStatistics 173
7.0.1 FrequentistvsBayesianapproaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
7.1 Bayes’Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
7.1.1 Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
7.2 Choosingapriordistribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
7.2.1 Conjugatepriors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
7.2.2 SensitivityAnalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
7.2.3 EmpiricalBayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
7.3 MarkovChainMonteCarlo(MCMC) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
7.3.1 MonteCarloIntegration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
7.3.2 MarkovChains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.3.3 MarkovChainMonteCarlo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.4 VariationalInference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.5 Bayesianpointestimates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.6 CredibleIntervals(CredibleRegions) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
7.7 BayesianRegression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
7.8 ABayesianexample . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
7.8.1 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
8 Graphs 191
8.1 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
9 ProbabilisticGraphicalModels 197
9.1 Factors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
9.2 Belief(Bayesian)Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
9.2.1 Conditionalindependenceassumptions . . . . . . . . . . . . . . . . . . . . . . . . . . 207
9.2.2 Propertiesofbeliefnetworks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
9.2.3 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
9.2.4 Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
9.2.5 Conditionalindependence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
9.2.6 Templatemodels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
9.2.7 Temporalmodels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
9.2.8 MarkovModels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
9.2.9 DynamicBayesNetworks(DBNs) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
10 CONTENTS