Numerische Mathematik I

100 Pages·2014·1.04 MB·German

by  Christian Clason

NUMERISCHE MATHEMATIK I
Vorlesungsskript, Sommersemester 2013
Christian Clason
Stand vom 14. Juli 2014
Institut für Mathematik und Wissenschaftliches Rechnen
Karl-Franzens-Universität Graz
INHALTSVERZEICHNIS
I ALGEBRAISCHE GRUNDLAGEN
1 vektoren und matrizen 3
1.1 ElementareDefinitionen 3
1.2 MatrizenundUnterräume 4
1.3 Vektor-undMatrixnormen 5
2 orthogonalität und projektionen 7
2.1 SkalarproduktundOrthogonalität 7
2.2 Projektionen 9
2.3 Orthonormalisierungsverfahren 13
3 eigenwerte und eigenvektoren 16
3.1 DefinitionenundelementareEigenschaften 16
3.2 Ähnlichkeitstransformationen 19
II LINEARE GLEICHUNGSSYSTEME
4 stationäre verfahren 24
4.1 KonvergenzstationärerIterationsverfahren 25
4.2 KlassischeZerlegungs-Strategien 27
5 projektionsverfahren 30
5.1 AllgemeineProjektionsverfahren 30
5.2 EindimensionaleProjektionsverfahren 34
6 krylovraum-verfahren 40
6.1 DerArnoldi-Prozess 41
6.2 DerLanczos-Prozess 43
6.3 Arnoldi-VerfahrenfürGleichungssysteme 43
i
inhaltsverzeichnis
7 das cg-verfahren 45
7.1 Algorithmus 45
7.2 Konvergenz 47
7.3 PräkonditioniertesCG-Verfahren 50
8 das gmres-verfahren 53
8.1 Algorithmus 53
8.2 Konvergenz 56
8.3 PräkonditioniertesGMRES-Verfahren 57
9 biorthogonale krylovraum-verfahren 59
9.1 DerBi-Lanczos-Prozess 59
9.2 DasBi-CG-Verfahren 62
9.3 DasCGS-Verfahren 63
9.4 DasBi-CGStab-Verfahren 65
III EIGENWERTPROBLEME
10 vektor- und qr-iteration 68
10.1 Vektoriteration 68
10.2 InverseVektoriteration 71
10.3 DasQR-Verfahren 72
10.4 PraktischeDurchführungdesQR-Verfahrens 77
11 projektionsverfahren 83
11.1 OrthogonaleProjektionsverfahren 85
11.2 SchiefeProjektionsverfahren 87
12 krylovraum-verfahren 89
12.1 Arnoldi-undLanczos-Verfahren 89
12.2 Konvergenz 91
12.3 NeustartsundDeflation 93
ii
Teil I
ALGEBRAISCHE GRUNDLAGEN
ÜBERBLICK
DerInhaltdieserVorlesungsinditerativeVerfahrenzurLösunglinearerGleichungssysteme
undEigenwertprobleme;derSchwerpunktliegtdabeiaufmodernenProjektionsverfahren
undinsbesondereaufKrylovraum-Methoden.ImGegensatzzudensogenanntendirekten
VerfahrenwiezumBeispielderLR-ZerlegunglieferniterativeVerfahrenzwarimmernur
Näherungslösungen,benötigenjedochinjedemSchrittnurdieMultiplikationeinesVektors
miteinerMatrix.DiesistinsbesonderefürProblememitdünnbesetztenMatrizenwichtig,
dienurwenigevonNullverschiedeneEinträgeinjederZeilehaben:IndiesemFallwächstder
AufwandfüreineMatrix-Vektor-MultiplikationnurlinearmitderAnzahlderZeilen,wäh-
rendderderLR-Zerlegungkubischwächst.AußerdemsinddieFaktorenderLR-Zerlegung
inderRegelvollbesetzt.DaetwabeidernumerischenLösungvonpartiellenDifferentialglei-
chungenroutinemäßig(dünnbesetzte)MatrizenmitmehrerenHunderttausendbishinzu
MilliardenZeilenauftreten,kommenhierselbstaufmodernstenGroßrechnernnurnoch
iterativeVerfahreninBetracht.
DiesesSkriptumbasiertvorallemaufdenfolgendenWerken:
[1] GeneH.GolubundCharlesF.VanLoan.MatrixComputations.4.Aufl.JohnsHopkins
UniversityPress,Baltimore,MD,2013
[2] YousefSaad.IterativeMethodsForSparseLinearSystems.2.Aufl.SIAM,Philadelphia,PA,
2003.url:http://www-users.cs.umn.edu/~saad/IterMethBook_2ndEd.pdf
[3] HenkA.vanderVorst. IterativeKrylovMethodsforLargeLinearSystems. Cambridge
UniversityPress,Cambridge,2009
[4] David S. Watkins. The Matrix Eigenvalue Problem. GR andKrylov subspace methods.
SIAM,Philadelphia,PA,2007
[5] DavidS.Watkins.„TheQRalgorithmrevisited“.SIAMReview50.1(2008),S.133–145.doi:
10.1137/060659454. url: http://www.math.wsu.edu/faculty/watkins/pdfiles/
qrevisit.pdf
[6] YousefSaad.NumericalMethodsforLargeEigenvalueProblems.2.Aufl.SIAM,Philadel-
phia,PA,2011.url:http://www-users.cs.umn.edu/~saad/eig_book_2ndEd.pdf
[7] DannyC.Sorensen.„Numericalmethodsforlargeeigenvalueproblems“.ActaNumerica
11(2002),S.519–584.doi:10.1017/S0962492902000089
2
VEKTOREN UND MATRIZEN
IndiesemKapitelstellenwireinigegrundlegendeDefinitionenundEigenschaftenzusammen. 1
ZumgrößtenTeilsolltendieseausfrüherenVorlesungenbereitsbekanntsein,weshalbauf
Beweiseverzichtetwird.ImAllgemeinenbetrachtenwirdabeikomplexeVektorräume;auf
Eigenschaften,dienurfürreelleMatrizengelten,wirdexplizithingewiesen.
1.1 elementare definitionen
WirbeginnenmitderFestlegungvonNotation.Sein ∈ Nbeliebig.EinVektorx ∈ Cniststets
einSpaltenvektor;erhatdieEinträgex ∈ C,1 (cid:54) i (cid:54) n.DerzugehörigeZeilenvektor wird
i
mitxT = (x ,...,x )bezeichnet.DeradjungierteVektorzuxistx∗ := xT = (x ,...,x ).
1 n 1 n
HieristzdiekomplexkonjugierteZahlzuz ∈ C.
EineMatrix A ∈ Cn×n hatdieEinträgea ∈ C,1 (cid:54) i,j (cid:54) n,wobeiderersteIndex(hier
ij
i) den Zeilenindex undderzweite Index (hierj) den Spaltenindex bezeichnet. Die Matrix
A ∈ C2×2 hatalsodieEinträge
(cid:18) (cid:19)
a a
A = 11 12 .
a a
21 22
SindnVektorena ,...,a ∈ Cngegeben,könnenwirdarauseineMatrixA ∈ Cn×nbilden,
1 n
derenj-teSpaltederVektora ist.Diesdrückenwirausdurch
j
A = [a ,a ,...,a ].
1 2 n
DietransponierteMatrixzuA ∈ Cn×n bezeichnenwirmitAT;siehatdieEinträgea .Die
ji
adjungierte Matrix A∗ := AT hatdagegen die Einträge a . IstA ∈ Rn×n,so istnatürlich
ji
A∗ = AT.
Damit können wirnun bestimmte Klassen von Matrizen unterscheiden. Die Matrix A ∈
Cn×n heißt
• symmetrisch,fallsAT = Agilt,
3
1 vektoren und matrizen
• hermiteschoderselbstadjungiert,fallsA∗ = Agilt,
• schiefsymmetrisch(bzw.schiefadjungiert),fallsAT = −A(bzw.A∗ = −A)gilt,
• normal,fallsA∗A = AA∗ gilt,
• unitär,fallsA∗A = Igilt,wobeiIdieEinheitsmatrix(oderIdentität)bezeichnet.(Ist
A ∈ Rn×n,sobedeutetdies,dassATA = Iist,undmannenntAorthogonal.)
1.2 matrizen und unterräume
EinUnterraumvonCn isteinenichtleereTeilmengeU ⊂ Cn,dieabgeschlossenbezüglich
AdditionundMultiplikationmit(komplexen)Skalarenist.EineMenge{u ,...,u } ⊂ Cn,
1 k
k ∈ N,vonVektorenerzeugteinenUnterraumU ⊂ Cn –genanntSpannderu –indemwir
i
dieMengeallerLinearkombinationenderu betrachten:
i
(cid:14) (cid:15)
(cid:88)k
U = span{u ,...,u } := α u : α ∈ C, 1 (cid:54) i (cid:54) k .
1 k i i i
i=1
Sinddieu linearunabhängig,sobildendieVektorenu ,...,u eineBasisvonU,undU
i 1 k
hatdieDimensionk(geschrieben:dim(U) = k).
EineMatrixA ∈ Cn×n definiertnunzweiwichtigeUnterräumevonCn:
1. DasBildvonAistderSpannallerSpaltenvonA,kurz
Im(A) := {Ax : x ∈ Cn}.
Der(Spalten-)RangvonAistdefiniertalsdiemaximaleAnzahlderlinearunabhängigen
SpaltenvonA:
rank(A) := dim(Im(A)).
2. Der Kern von A ist die Menge aller Vektoren, die durch A auf 0 ∈ Cn abgebildet
werden:
Ker(A) = {x ∈ Cn : Ax = 0}.
Falls Ker(A) (cid:54)= {0} ist,heißt A singulär,ansonsten regulär. In letzterem Fallhat das
lineareGleichungssystemAx = bfüralleb ∈ Cn eineeindeutigeLösungx∗ ∈ Cn.
4
1 vektoren und matrizen
EinFundamentalsatzderLinearenAlgebraistnun,dassjederVektorx ∈ Cn eindeutig als
Summe eines Vektors aus dem Bild von A und eines Vektors aus dem Kern von A∗ (und
umgekehrt)dargestelltwerdenkann.DerRaumCn istalsodiedirekteSummeausBildund
Kern:
Cn = Im(A)⊕Ker(A∗) = Im(A∗)⊕Ker(A).
Oft werden wir auch das Bild eines Unterraums U ⊂ Cn unter einer Matrix A ∈ Cn×n
betrachten:
AU := {Ax : x ∈ U}
GiltAU ⊂ U,sonennenwirUinvariant unterA.
1.3 vektor- und matrixnormen
DaeiniterativesVerfahrenimmernurNäherungenaneinengesuchtenVektorliefernkann,
isteswichtig,Fehlermessenzukönnen.DafürwerdenVektornormeneingeführt:
DieAbbildung(cid:107)·(cid:107) : Cn → RheißtNorm,falls
(n1) (cid:107)x(cid:107) (cid:62) 0fürallex ∈ Cn,und(cid:107)x(cid:107) = 0genaudann,wennx = 0;
(n2) Füralleα ∈ Cundx ∈ Cn gilt(cid:107)αx(cid:107) = |α|(cid:107)x(cid:107);
(n3) Fürallex,y ∈ Cn giltdieDreiecksungleichung
(cid:107)x+y(cid:107) (cid:54) (cid:107)x(cid:107)+(cid:107)y(cid:107).
DiewichtigstenBeispielesinddiep-NormenaufCn:
(cid:32)(cid:88)n (cid:33)p1
(cid:107)x(cid:107) := |x |p für1 (cid:54) p < ∞,
p i
i=1
(cid:107)x(cid:107) := max |x |.
∞ i
i=1,...,n
Wiewirsehenwerden,hatdieEuklidischeNorm(cid:107)·(cid:107) unterallenp-Normeneineausgezeich-
2
neteStellung.Wirvereinbarendaher,dass–soweitnichtandersangegeben–einenichtweiter
spezifizierteNorm(cid:107)x(cid:107)stetsdieEuklidischeNorm(cid:107)x(cid:107) bezeichnet.
2
Auf endlichdimensionalen Vektorräumen (also insbesondere auf Cn) sind alle Normen
äquivalent:Sind(cid:107)·(cid:107)und(cid:107)·(cid:107)(cid:48) zweiNormen,soexistierenzweiKonstantenc ,c > 0,sodass
1 2
fürallex ∈ Cn gilt:
c (cid:107)x(cid:107) (cid:54) (cid:107)x(cid:107)(cid:48) (cid:54) c (cid:107)x(cid:107).
1 2
5
1 vektoren und matrizen
JedeMatrixA ∈ Cn×n lässtsichalsVektorimRaumC(n2) auffassen,womitsichjededieser
NormenauchzurUntersuchungeinerMatrixverwendenließe.JedochsindMatrizenauch
lineareOperatoren,dieaufVektorenwirken.Umdieszuberücksichtigen,verlangenwirvon
einerMatrixnormüberdieNormaxiomehinauszusätzlicheEigenschaften:EineMatrixnorm
(cid:107)·(cid:107) : Cn×n → Rheißt
M
1. submultiplikativ,falls(cid:107)AB(cid:107) (cid:54) (cid:107)A(cid:107) (cid:107)B(cid:107) füralleA,B ∈ Cn×n gilt.
M M M
2. verträglichmiteinerVektornorm(cid:107)·(cid:107) ,wennfüralleA ∈ Cn×n undx ∈ Cn gilt:
V
(cid:107)Ax(cid:107) (cid:54) (cid:107)A(cid:107) (cid:107)x(cid:107) .
V M V
FüreineVektornorm(cid:107)·(cid:107) aufCn heißtdiedurch
V
(cid:107)Ax(cid:107)
(1.1) (cid:107)A(cid:107) := sup V
M (cid:107)x(cid:107)
x(cid:54)=0 V
definierteNormdie(durch(cid:107)·(cid:107) )induzierteNorm.JedeinduzierteNormistsubmultiplikativ
V
und mit der sie induzierenden Vektornorm verträglich. Auch hier stellen die p-Normen
die wichtigsten Beispiele,und wir bezeichnen die durch die p-(Vektor-)Norm induzierte
Matrixnormwiedermit(cid:107)·(cid:107) ,wodiesnichtzuVerwechslungführenkann.Einigeinduzierte
p
p-NormenhabeneineexpliziteDarstellung:
(cid:88)n
• p = 1(Spaltensummennorm):(cid:107)A(cid:107) = max |a |,
1 1(cid:54)j(cid:54)n ij
i=1
(cid:88)n
• p = ∞(Zeilensummennorm):(cid:107)A(cid:107) = max |a |.
∞ ij
1(cid:54)i(cid:54)n
j=1
WiederhatdieNormfürp = 2(diesogenannteSpektralnorm)einebesondereStellung;für
dieseexistiertaberkeineexpliziteDarstellungüberdieEinträge(siekannabermitHilfevon
Eigenwertencharakterisiertwerden).
NichtalleMatrixnormensindinduzierteNormen.AuchdieFrobenius-Normistsubmultipli-
kativundverträglichmitderEuklidischenNorm¹:
(cid:118)
(cid:117)(cid:88)n
(cid:107)A(cid:107)F := (cid:117)(cid:116) |aij|2.
i,j=1
DerWertderFrobeniusnormbestehtdarin,dasssieeinescharfeobereSchrankefürdie–
schwer zu berechnende – Spektralnorm darstellt. (Wie Vektornormen sind auch alle Ma-
trixnormenäquivalent.)
¹SieentsprichtderEuklidischenNormvonA∈Cn×n,aufgefasstalsVektorinC(n2).
6
ORTHOGONALITÄT UND PROJEKTIONEN
Moderne Iterationsverfahren nutzen in fundamentaler Weise die Geometrie des Euklidi- 2
schenVektorraumsCn aus.DieseGeometriewirdimWesentlichendurchdenBegriffdes
SkalarproduktsundderdadurchdefiniertenOrthogonalitätvermittelt.
2.1 skalarprodukt und orthogonalität
EineAbbildung(cid:104)·,·(cid:105) : Cn ×Cn → CheißtSkalarprodukt,falls
(s1) Fürallex,y ∈ Cn gilt(cid:104)x,y(cid:105) = (cid:104)y,x(cid:105);
(s2) Füralleα,β ∈ Cundx,y,z ∈ Cn gilt
(cid:104)αx+βy,z(cid:105) = α(cid:104)x,z(cid:105)+β(cid:104)y,z(cid:105),
(cid:104)z,αx+βy(cid:105) = α(cid:104)z,x(cid:105)+β(cid:104)z,y(cid:105);
(s3) Fürallex ∈ Cn gilt(cid:104)x,x(cid:105) (cid:62) 0,wobei(cid:104)x,x(cid:105) = 0genaudanngilt,wennx = 0ist.¹
JedesSkalarproduktinduzierteineNormdurch
(cid:107)x(cid:107)2 := (cid:104)x,x(cid:105),
undfüreinesoinduzierteNormgiltdieCauchy–SchwarzscheUngleichung:
|(cid:104)x,y(cid:105)| (cid:54) (cid:107)x(cid:107)(cid:107)y(cid:107).
DaskanonischeSkalarproduktimCn ist
(cid:88)n
(cid:104)x,y(cid:105) := y∗x = x y ,
2 i i
i=1
¹Wegen(s1)ist(cid:104)x,x(cid:105)=(cid:104)x,x(cid:105)unddamit(cid:104)x,x(cid:105)∈R.
7