Iterative methods for sparse linear systems

567 Pages·2003·2.587 MB·English

by  Saad Y.

Iterative Methods
for Sparse
Linear Systems
Second Edition
0.19E+07
0.10E-06
Yousef Saad
Copyright c2003bytheSocietyforIndustrial andAppliedMathematics
(cid:13)

Contents
Preface xiii
Prefaceto.s.ec.on.d.e.di.tio.n. . . . . . . . . . . . . . . . . . . . . . . . . . xiii
Prefaceto.fi.rs.te.d.iti.on. . . . . . . . . . . . . . . . . . . . . . . . . . . . xix
1 BackgroundinLinearAlgebra 1
1.1 Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 SquareMatricesandEigenvalues . . . . . . . . . . . . . . . . 3
1.3 TypesofMatrices . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 VectorInnerProductsandNorms . . . . . . . . . . . . . . . . 6
1.5 MatrixNorms . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.6 Subspaces, Range,andKernel . . . . . . . . . . . . . . . . . . 10
1.7 Orthogonal VectorsandSubspaces . . . . . . . . . . . . . . . 11
1.8 Canonical FormsofMatrices . . . . . . . . . . . . . . . . . . 15
1.8.1 ReductiontotheDiagonalForm . . . . . . . . . . 16
1.8.2 TheJordanCanonical Form . . . . . . . . . . . . 17
1.8.3 TheSchurCanonicalForm . . . . . . . . . . . . 17
1.8.4 Application toPowersofMatrices . . . . . . . . 20
1.9 NormalandHermitianMatrices . . . . . . . . . . . . . . . . . 21
1.9.1 NormalMatrices . . . . . . . . . . . . . . . . . . 21
1.9.2 HermitianMatrices . . . . . . . . . . . . . . . . 25
1.10 NonnegativeMatrices, M-Matrices . . . . . . . . . . . . . . . 27
1.11 Positive-Definite Matrices . . . . . . . . . . . . . . . . . . . . 32
1.12 Projection Operators . . . . . . . . . . . . . . . . . . . . . . . 34
1.12.1 RangeandNullSpaceofaProjector . . . . . . . 34
1.12.2 MatrixRepresentations . . . . . . . . . . . . . . 36
1.12.3 Orthogonal andObliqueProjectors . . . . . . . . 37
1.12.4 PropertiesofOrthogonal Projectors . . . . . . . . 38
1.13 BasicConceptsinLinearSystems . . . . . . . . . . . . . . . . 39
1.13.1 ExistenceofaSolution . . . . . . . . . . . . . . 40
1.13.2 Perturbation Analysis . . . . . . . . . . . . . . . 41
2 Discretization ofPDEs 47
2.1 PartialDifferential Equations . . . . . . . . . . . . . . . . . . 47
2.1.1 EllipticOperators . . . . . . . . . . . . . . . . . 47
v
vi CONTENTS
2.1.2 TheConvection DiffusionEquation . . . . . . . . 50
2.2 FiniteDifferenceMethods . . . . . . . . . . . . . . . . . . . . 50
2.2.1 BasicApproximations . . . . . . . . . . . . . . . 50
2.2.2 DifferenceSchemesfortheLaplaceanOperator . 52
2.2.3 FiniteDifferencesfor1-DProblems . . . . . . . . 53
2.2.4 UpwindSchemes . . . . . . . . . . . . . . . . . 54
2.2.5 FiniteDifferencesfor2-DProblems . . . . . . . . 56
2.2.6 FastPoissonSolvers . . . . . . . . . . . . . . . . 58
2.3 TheFiniteElementMethod . . . . . . . . . . . . . . . . . . . 62
2.4 MeshGeneration andRefinement . . . . . . . . . . . . . . . . 69
2.5 FiniteVolumeMethod . . . . . . . . . . . . . . . . . . . . . . 69
3 SparseMatrices 75
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.2 GraphRepresentations . . . . . . . . . . . . . . . . . . . . . . 76
3.2.1 GraphsandAdjacencyGraphs . . . . . . . . . . . 77
3.2.2 GraphsofPDEMatrices . . . . . . . . . . . . . . 78
3.3 Permutations andReorderings . . . . . . . . . . . . . . . . . . 79
3.3.1 BasicConcepts . . . . . . . . . . . . . . . . . . . 79
3.3.2 RelationswiththeAdjacencyGraph . . . . . . . 81
3.3.3 CommonReorderings . . . . . . . . . . . . . . . 83
3.3.4 Irreducibility . . . . . . . . . . . . . . . . . . . . 91
3.4 StorageSchemes . . . . . . . . . . . . . . . . . . . . . . . . . 92
3.5 BasicSparseMatrixOperations . . . . . . . . . . . . . . . . . 95
3.6 SparseDirectSolutionMethods . . . . . . . . . . . . . . . . . 96
3.6.1 Minimumdegreeordering . . . . . . . . . . . . . 97
3.6.2 NestedDissection ordering . . . . . . . . . . . . 97
3.7 TestProblems . . . . . . . . . . . . . . . . . . . . . . . . . . 98
4 BasicIterative Methods 105
4.1 Jacobi, Gauss-Seidel, andSOR . . . . . . . . . . . . . . . . . 105
4.1.1 BlockRelaxation Schemes . . . . . . . . . . . . 108
4.1.2 Iteration MatricesandPreconditioning . . . . . . 112
4.2 Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.2.1 GeneralConvergence Result . . . . . . . . . . . . 115
4.2.2 RegularSplittings . . . . . . . . . . . . . . . . . 118
4.2.3 Diagonally DominantMatrices . . . . . . . . . . 119
4.2.4 SymmetricPositiveDefiniteMatrices . . . . . . . 122
4.2.5 PropertyAandConsistent Orderings . . . . . . . 123
4.3 Alternating DirectionMethods . . . . . . . . . . . . . . . . . 127
5 Projection Methods 133
5.1 BasicDefinitionsandAlgorithms . . . . . . . . . . . . . . . . 133
5.1.1 GeneralProjection Methods . . . . . . . . . . . . 134
CONTENTS vii
5.1.2 MatrixRepresentation . . . . . . . . . . . . . . . 135
5.2 GeneralTheory . . . . . . . . . . . . . . . . . . . . . . . . . 137
5.2.1 TwoOptimalityResults . . . . . . . . . . . . . . 137
5.2.2 Interpretation inTermsofProjectors . . . . . . . 138
5.2.3 GeneralErrorBound . . . . . . . . . . . . . . . . 140
5.3 One-Dimensional Projection Processes . . . . . . . . . . . . . 142
5.3.1 SteepestDescent . . . . . . . . . . . . . . . . . . 142
5.3.2 MinimalResidual(MR)Iteration . . . . . . . . . 145
5.3.3 ResidualNormSteepestDescent . . . . . . . . . 147
5.4 AdditiveandMultiplicative Processes . . . . . . . . . . . . . . 147
6 KrylovSubspaceMethodsPartI 157
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
6.2 KrylovSubspaces . . . . . . . . . . . . . . . . . . . . . . . . 158
6.3 Arnoldi’sMethod . . . . . . . . . . . . . . . . . . . . . . . . 160
6.3.1 TheBasicAlgorithm . . . . . . . . . . . . . . . . 160
6.3.2 PracticalImplementations . . . . . . . . . . . . . 162
6.4 Arnoldi’sMethodforLinearSystems(FOM) . . . . . . . . . . 165
6.4.1 Variation1: RestartedFOM . . . . . . . . . . . . 167
6.4.2 Variation2: IOMandDIOM . . . . . . . . . . . 168
6.5 GMRES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
6.5.1 TheBasicGMRESAlgorithm . . . . . . . . . . . 172
6.5.2 TheHouseholder Version . . . . . . . . . . . . . 173
6.5.3 PracticalImplementation Issues . . . . . . . . . . 174
6.5.4 BreakdownofGMRES . . . . . . . . . . . . . . 179
6.5.5 Variation1: Restarting . . . . . . . . . . . . . . . 179
6.5.6 Variation2: TruncatedGMRESVersions . . . . . 180
6.5.7 RelationsbetweenFOMandGMRES . . . . . . . 185
6.5.8 Residualsmoothing . . . . . . . . . . . . . . . . 190
6.5.9 GMRESforcomplexsystems . . . . . . . . . . . 193
6.6 TheSymmetricLanczosAlgorithm . . . . . . . . . . . . . . . 194
6.6.1 TheAlgorithm . . . . . . . . . . . . . . . . . . . 194
6.6.2 RelationwithOrthogonal Polynomials . . . . . . 195
6.7 TheConjugateGradientAlgorithm . . . . . . . . . . . . . . . 196
6.7.1 DerivationandTheory . . . . . . . . . . . . . . . 196
6.7.2 AlternativeFormulations . . . . . . . . . . . . . 200
6.7.3 Eigenvalue EstimatesfromtheCGCoefficients . . 201
6.8 TheConjugateResidualMethod . . . . . . . . . . . . . . . . 203
6.9 GCR,ORTHOMIN,andORTHODIR. . . . . . . . . . . . . . 204
6.10 TheFaber-Manteuffel Theorem . . . . . . . . . . . . . . . . . 206
6.11 Convergence Analysis . . . . . . . . . . . . . . . . . . . . . . 208
6.11.1 RealChebyshev Polynomials . . . . . . . . . . . 209
6.11.2 ComplexChebyshevPolynomials . . . . . . . . . 210
6.11.3 Convergence oftheCGAlgorithm . . . . . . . . 214
viii CONTENTS
6.11.4 Convergence ofGMRES. . . . . . . . . . . . . . 215
6.12 BlockKrylovMethods . . . . . . . . . . . . . . . . . . . . . 218
7 KrylovSubspaceMethodsPartII 229
7.1 LanczosBiorthogonalization . . . . . . . . . . . . . . . . . . 229
7.1.1 TheAlgorithm . . . . . . . . . . . . . . . . . . . 229
7.1.2 PracticalImplementations . . . . . . . . . . . . . 232
7.2 TheLanczosAlgorithm forLinearSystems . . . . . . . . . . . 234
7.3 TheBCGandQMRAlgorithms . . . . . . . . . . . . . . . . . 234
7.3.1 TheBiconjugate GradientAlgorithm . . . . . . . 234
7.3.2 Quasi-MinimalResidualAlgorithm . . . . . . . . 236
7.4 Transpose-Free Variants . . . . . . . . . . . . . . . . . . . . . 241
7.4.1 ConjugateGradientSquared . . . . . . . . . . . . 241
7.4.2 BICGSTAB . . . . . . . . . . . . . . . . . . . . 244
7.4.3 Transpose-Free QMR(TFQMR) . . . . . . . . . 247
8 MethodsRelatedtotheNormalEquations 259
8.1 TheNormalEquations . . . . . . . . . . . . . . . . . . . . . . 259
8.2 RowProjection Methods . . . . . . . . . . . . . . . . . . . . 261
8.2.1 Gauss-SeidelontheNormalEquations . . . . . . 261
8.2.2 Cimmino’sMethod . . . . . . . . . . . . . . . . 263
8.3 ConjugateGradientandNormalEquations . . . . . . . . . . . 266
8.3.1 CGNR . . . . . . . . . . . . . . . . . . . . . . . 266
8.3.2 CGNE . . . . . . . . . . . . . . . . . . . . . . . 267
8.4 Saddle-Point Problems. . . . . . . . . . . . . . . . . . . . . . 268
9 PreconditionedIterations 275
9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
9.2 Preconditioned ConjugateGradient . . . . . . . . . . . . . . . 276
9.2.1 Preserving Symmetry . . . . . . . . . . . . . . . 276
9.2.2 EfficientImplementations . . . . . . . . . . . . . 279
9.3 Preconditioned GMRES . . . . . . . . . . . . . . . . . . . . . 282
9.3.1 Left-Preconditioned GMRES . . . . . . . . . . . 282
9.3.2 Right-Preconditioned GMRES . . . . . . . . . . 284
9.3.3 SplitPreconditioning . . . . . . . . . . . . . . . 285
9.3.4 ComparisonofRightandLeftPreconditioning . . 285
9.4 FlexibleVariants . . . . . . . . . . . . . . . . . . . . . . . . . 287
9.4.1 FlexibleGMRES . . . . . . . . . . . . . . . . . . 287
9.4.2 DQGMRES . . . . . . . . . . . . . . . . . . . . 290
9.5 Preconditioned CGfortheNormalEquations . . . . . . . . . . 291
9.6 TheConcus, Golub,andWidlund Algorithm . . . . . . . . . . 292
10 PreconditioningTechniques 297
10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
10.2 Jacobi, SOR,andSSORPreconditioners . . . . . . . . . . . . 298
CONTENTS ix
10.3 ILUFactorization Preconditioners . . . . . . . . . . . . . . . 301
10.3.1 Incomplete LUFactorizations . . . . . . . . . . . 301
10.3.2 ZeroFill-inILU(ILU(0)) . . . . . . . . . . . . . 307
10.3.3 LevelofFillandILU(p) . . . . . . . . . . . . . . 311
10.3.4 MatriceswithRegularStructure . . . . . . . . . . 315
10.3.5 ModifiedILU(MILU) . . . . . . . . . . . . . . . 319
10.4 Threshold StrategiesandILUT . . . . . . . . . . . . . . . . . 321
10.4.1 TheILUTApproach . . . . . . . . . . . . . . . . 321
10.4.2 Analysis . . . . . . . . . . . . . . . . . . . . . . 323
10.4.3 Implementation Details . . . . . . . . . . . . . . 325
10.4.4 TheILUTPApproach . . . . . . . . . . . . . . . 327
10.4.5 TheILUSApproach . . . . . . . . . . . . . . . . 330
10.4.6 TheCroutILUApproach . . . . . . . . . . . . . 332
10.5 Approximate InversePreconditioners . . . . . . . . . . . . . . 336
10.5.1 Approximating theInverseofaSparseMatrix . . 337
10.5.2 GlobalIteration . . . . . . . . . . . . . . . . . . 337
10.5.3 Column-Oriented Algorithms . . . . . . . . . . . 339
10.5.4 Theoretical Considerations . . . . . . . . . . . . 341
10.5.5 Convergence ofSelfPreconditioned MR . . . . . 343
10.5.6 ApproximateInverses viabordering . . . . . . . . 346
10.5.7 Factoredinverses viaorthogonalization: AINV . . 348
10.5.8 ImprovingaPreconditioner . . . . . . . . . . . . 349
10.6 Reordering forILU . . . . . . . . . . . . . . . . . . . . . . . 350
10.6.1 Symmetricpermutations . . . . . . . . . . . . . . 350
10.6.2 Nonsymmetricreorderings . . . . . . . . . . . . . 352
10.7 BlockPreconditioners . . . . . . . . . . . . . . . . . . . . . . 354
10.7.1 Block-Tridiagonal Matrices . . . . . . . . . . . . 354
10.7.2 GeneralMatrices . . . . . . . . . . . . . . . . . . 356
10.8 Preconditioners fortheNormalEquations . . . . . . . . . . . 356
10.8.1 Jacobi, SOR,andVariants . . . . . . . . . . . . . 357
10.8.2 IC(0)fortheNormalEquations . . . . . . . . . . 357
10.8.3 Incomplete Gram-SchmidtandILQ . . . . . . . . 360
11 ParallelImplementations 369
11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
11.2 FormsofParallelism . . . . . . . . . . . . . . . . . . . . . . . 370
11.2.1 MultipleFunctional Units . . . . . . . . . . . . . 370
11.2.2 Pipelining . . . . . . . . . . . . . . . . . . . . . 370
11.2.3 VectorProcessors . . . . . . . . . . . . . . . . . 371
11.2.4 Multiprocessing andDistributed Computing . . . 371
11.3 TypesofParallelArchitectures . . . . . . . . . . . . . . . . . 371
11.3.1 SharedMemoryComputers . . . . . . . . . . . . 372
11.3.2 Distributed MemoryArchitectures . . . . . . . . 374
11.4 TypesofOperations . . . . . . . . . . . . . . . . . . . . . . . 376
x CONTENTS
11.5 Matrix-by-Vector Products . . . . . . . . . . . . . . . . . . . 378
11.5.1 TheCSRandCSCFormats . . . . . . . . . . . . 378
11.5.2 MatvecsintheDiagonalFormat . . . . . . . . . . 380
11.5.3 TheEllpack-Itpack Format . . . . . . . . . . . . 381
11.5.4 TheJaggedDiagonalFormat . . . . . . . . . . . 382
11.5.5 TheCaseofDistributed SparseMatrices . . . . . 383
11.6 StandardPreconditioning Operations . . . . . . . . . . . . . . 386
11.6.1 ParallelisminForwardSweeps . . . . . . . . . . 386
11.6.2 LevelScheduling: theCaseof5-PointMatrices . 387
11.6.3 LevelScheduling forIrregularGraphs . . . . . . 388
12 ParallelPreconditioners 393
12.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
12.2 Block-Jacobi Preconditioners . . . . . . . . . . . . . . . . . . 394
12.3 PolynomialPreconditioners . . . . . . . . . . . . . . . . . . . 395
12.3.1 NeumannPolynomials . . . . . . . . . . . . . . . 396
12.3.2 ChebyshevPolynomials . . . . . . . . . . . . . . 397
12.3.3 Least-Squares Polynomials . . . . . . . . . . . . 400
12.3.4 TheNonsymmetricCase . . . . . . . . . . . . . . 403
12.4 Multicoloring . . . . . . . . . . . . . . . . . . . . . . . . . . 406
12.4.1 Red-BlackOrdering . . . . . . . . . . . . . . . . 406
12.4.2 SolutionofRed-BlackSystems . . . . . . . . . . 407
12.4.3 Multicoloring forGeneralSparseMatrices . . . . 408
12.5 Multi-Elimination ILU. . . . . . . . . . . . . . . . . . . . . . 409
12.5.1 Multi-Elimination . . . . . . . . . . . . . . . . . 410
12.5.2 ILUM . . . . . . . . . . . . . . . . . . . . . . . 412
12.6 Distributed ILUandSSOR . . . . . . . . . . . . . . . . . . . 414
12.7 OtherTechniques . . . . . . . . . . . . . . . . . . . . . . . . 417
12.7.1 ApproximateInverses . . . . . . . . . . . . . . . 417
12.7.2 Element-by-Element Techniques . . . . . . . . . 417
12.7.3 ParallelRowProjection Preconditioners . . . . . 419
13 MultigridMethods 423
13.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 423
13.2 Matricesandspectraofmodelproblems . . . . . . . . . . . . 424
13.2.1 Richardson’s iteration . . . . . . . . . . . . . . . 428
13.2.2 WeightedJacobiiteration . . . . . . . . . . . . . 431
13.2.3 Gauss-Seideliteration . . . . . . . . . . . . . . . 432
13.3 Inter-grid operations . . . . . . . . . . . . . . . . . . . . . . . 436
13.3.1 Prolongation . . . . . . . . . . . . . . . . . . . . 436
13.3.2 Restriction . . . . . . . . . . . . . . . . . . . . . 438
13.4 Standardmultigridtechniques . . . . . . . . . . . . . . . . . . 439
13.4.1 Coarseproblemsandsmoothers . . . . . . . . . . 439
13.4.2 Two-gridcycles . . . . . . . . . . . . . . . . . . 441
13.4.3 V-cyclesandW-cycles . . . . . . . . . . . . . . . 443
13.4.4 FullMultigrid . . . . . . . . . . . . . . . . . . . 447
13.5 Analysisforthetwo-gridcycle . . . . . . . . . . . . . . . . . 451
13.5.1 Twoimportantsubspaces . . . . . . . . . . . . . 451
13.5.2 Convergence analysis . . . . . . . . . . . . . . . 453
13.6 AlgebraicMultigrid . . . . . . . . . . . . . . . . . . . . . . . 455
13.6.1 SmoothnessinAMG . . . . . . . . . . . . . . . . 456
13.6.2 Interpolation inAMG . . . . . . . . . . . . . . . 457
13.6.3 DefiningcoarsespacesinAMG . . . . . . . . . . 460
13.6.4 AMGviaMultilevelILU . . . . . . . . . . . . . 461
13.7 Multigrid vsKrylovmethods . . . . . . . . . . . . . . . . . . 464
14 DomainDecomposition Methods 469
14.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 469
14.1.1 Notation . . . . . . . . . . . . . . . . . . . . . . 470
14.1.2 TypesofPartitionings . . . . . . . . . . . . . . . 472
14.1.3 TypesofTechniques . . . . . . . . . . . . . . . . 472
14.2 DirectSolutionandtheSchurComplement . . . . . . . . . . . 474
14.2.1 BlockGaussianElimination . . . . . . . . . . . . 474
14.2.2 PropertiesoftheSchurComplement . . . . . . . 475
14.2.3 SchurComplementforVertex-BasedPartitionings 476
14.2.4 SchurComplementforFinite-ElementPartitionings 479
14.2.5 SchurComplementforthemodelproblem . . . . 481
14.3 SchwarzAlternating Procedures . . . . . . . . . . . . . . . . . 484
14.3.1 Multiplicative SchwarzProcedure . . . . . . . . . 484
14.3.2 Multiplicative SchwarzPreconditioning . . . . . . 489
14.3.3 AdditiveSchwarzProcedure . . . . . . . . . . . . 491
14.3.4 Convergence . . . . . . . . . . . . . . . . . . . . 492
14.4 SchurComplementApproaches . . . . . . . . . . . . . . . . . 497
14.4.1 Induced Preconditioners . . . . . . . . . . . . . . 497
14.4.2 Probing . . . . . . . . . . . . . . . . . . . . . . . 500
14.4.3 Preconditioning Vertex-BasedSchurComplements 500
14.5 FullMatrixMethods . . . . . . . . . . . . . . . . . . . . . . . 501
14.6 GraphPartitioning . . . . . . . . . . . . . . . . . . . . . . . . 504
14.6.1 BasicDefinitions . . . . . . . . . . . . . . . . . . 504
14.6.2 GeometricApproach . . . . . . . . . . . . . . . . 505
14.6.3 SpectralTechniques . . . . . . . . . . . . . . . . 506
14.6.4 GraphTheoryTechniques . . . . . . . . . . . . . 507
References 514
Index 535
xii CONTENTS