algebre lineaire numerique

53 Pages·2007·0.32 MB·French

Universite´ deRennes1 2006-2007
U.F.R.Mathe´matiques Supportdecours
LicenceMath F04
ALGEBRE LINEAIRE NUMERIQUE
Eric DARRIGRAND, Gre´gory VIAL
2
Table des matie`res
1 ALGE`BRELINE´AIRE:RAPPELSETCOMPLEMENTS 5
1.1 NotationsetRappels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.1 Quelques de´finitionsetnotations . . . . . . . . . . . . . . . . . . . . . . 5
1.1.2 The´oriespectrale -Premie`resre´ductions . . . . . . . . . . . . . . . . . . 7
1.1.3 Normesetsuitesdematrices . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2 De´compositions usuelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.1 De´composition polaire . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2.2 De´compositions LU,LDU,deCholesky . . . . . . . . . . . . . . . . . . 13
1.2.3 De´composition QR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.2.4 De´composition envaleurssingulie`res . . . . . . . . . . . . . . . . . . . 15
1.3 The´orieSpectrale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.4 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.4.1 Imagerienume´rique . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.4.2 Lacordevibrante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2 RE´SOLUTIONSNUME´RIQUES 23
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2 Me´thodesdirectespourlare´solution desyste`mesline´aires carre´s . . . . . . . . . 24
2.2.1 Me´thodedeGauss . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.2 De´composition LU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.3 Me´thodedeCholesky . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2.4 Notiondestabilite´ nume´rique . . . . . . . . . . . . . . . . . . . . . . . 30
2.2.5 Factorisation QR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.3 Syste`messur-de´termine´s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.3.1 Re´sultats pre´liminaires . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3.2 Re´solution del’e´quation normale . . . . . . . . . . . . . . . . . . . . . 31
2.3.3 Me´thodedefactorisation QR . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3.4 Algorithme de Householder - Une autre mise en œuvre de la me´thode de
factorisation QR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4 Me´thodesite´ratives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4.1 Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4.2 Me´thodedeJacobi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.4.3 Me´thodedeGauss-Seidel . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.4.4 Me´thodederelaxation (SOR-SuccessiveOverRelaxation) . . . . . . . 38
2.4.5 Comparaison desme´thodessurdesmatricestridiagonales . . . . . . . . 39
2.4.6 Programmation danslecasge´ne´ral . . . . . . . . . . . . . . . . . . . . . 39
2.5 Me´thodesvariationnelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.5.1 Lame´thodedugradienta` pasfixe . . . . . . . . . . . . . . . . . . . . . 40
2.5.2 Interpre´tation graphique . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.5.3 Me´thodedugradient a` pasoptimal . . . . . . . . . . . . . . . . . . . . . 42
2.5.4 EspacesdeKrylov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3
2.5.5 Me´thodedugradient conjugue´ . . . . . . . . . . . . . . . . . . . . . . . 43
3 APPROXIMATIONSPECTRALE 45
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.1.1 Motivations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.1.2 Analysedesensibilite´ . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.2 Me´thodesdelapuissance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.2.1 Me´thodedelapuissance . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.2.2 Me´thodedelapuissance inverse . . . . . . . . . . . . . . . . . . . . . . 48
3.2.3 Me´thodedelapuissance inverse avectranslation . . . . . . . . . . . . . 48
3.3 Me´thodedeJacobi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4 Me´thodedeGivens-Householder . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.5 Me´thodeQR. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4
Chapitre 1
` ´
ALGEBRE LINEAIRE : RAPPELS ET
COMPLEMENTS
1.1 Notations et Rappels
Nousnousplac¸onsdanslecorpsK,enge´ne´ralRouC.
1.1.1 Quelques de´finitions et notations
De´finition1.
Onnotera
Kd l’ensemble desvecteursdetailled.
Km p ou (K) l’ensemble des matrices carre´es de taille m p (a` m lignes et p co-
× m,p
M ×
lonnes).
(K) = (K)l’ensemble desmatricescarre´esdetaillem m.
m m,m
M M ×
Proprie´te´ 1.
(K) muni de l’addition et du produit par un scalaire de´finit un espace vectoriel (cad,
m,p
M
A,B (K)etα K,αA+B (K)).
m,p m,p
∀ ∈ M ∈ ∈M
Proprie´te´ 2.
(K) muni de plus du produit entre matrices de´finit une alge`bre. Rappel sur le produit :
m
M m
lamatriceC = AB estde´finieparC = A B .
ij ik kj
k=1
X
De´finition2.
Soit A une matrice de (K). A est dite inversible ou re´gulie`re si il existe une matrice B
m
M
tellequeAB = BA= I.LamatriceB estalorsnote´eA 1 etappele´e inversedeA.
−
I de´signe lamatrice identite´ de (K):I = δ ou` δ estlesymbole deKronecker (ilvaut 1
m ij ij ij
M
sii = j et0sinon).
Proprie´te´ 3.
SoitAunematricede (K).Lespropositions suivantes sonte´quivalentes :
m
M
1. Aestinversible,
2. kerA= 0 ,
{ }
3. ImA= Km,
4. ilexisteB (K)tellequeAB = I,
m
∈ M
5. ilexisteB (K)tellequeBA= I,
m
∈ M
5
De´finition3. (etProprie´te´)
L’ensemble des matrices de (K) inversibles est note´ GL (K) et constitue un groupe
m m
M
pourlamultiplication dans (K)qu’onappellegroupeline´aire.
m
M
L’ensemble des matrices de (K) inversibles et de de´terminant e´gal a` 1 est note´ SL (K) et
m m
M
constitue ungroupepourlamultiplication dans (K)qu’onappellegroupespe´cialline´aire.
m
M
De´finition4.
Soit Aune matrice de (K). Onappelle respectivement matrice transpose´e de A, note´e
m,p
M
AT,etmatriceadjointedeA,note´eA ,lesmatricesde (K)de´finiespar
∗ p,m
M
A = AT siK = R,
AT = A (i,j) 1,...,m 1,...,p et ∗
ij ji ∀ ∈ { }×{ } ( A∗ = AT siK = C.
Proposition 1.
SoitAunematricede (K).Alors:
m,p
M
dim ImA= dim ImA ,
∗
kerA = (ImA) ,
∗ ⊥
ImA = (kerA) .
∗ ⊥
De´finition5.
SoitAunematricede (K).LamatriceAestdite
m
M
diagonale siA = 0pourtout(i,j)telquei= j
ij
· 6
(onde´signe alorsApardiag(λ , ,λ ),ou` λ = A pourtouti 1,...,m ),
1 m i ii
··· ∈ { }
syme´trique siA = AT,
·
orthogonale A 1 = AT,
−
·
unitaire siA 1 = A ,
− ∗
·
normalesiAA = A A,
∗ ∗
·
hermitienne siA= A etK = C,
∗
·
auto-adjointe siA= A ,
∗
·
syme´trique positive, lorsque K = R, si A est syme´trique et si pour tout vecteur v de Km,
·
vTAv 0,
≥
syme´trique de´finiepositive,lorsqueK = R,siAestsyme´trique etsipourtoutvecteurv de
·
Km 0 ,vTAv > 0.
\{ }
hermitienne positive, lorsque K = C,siAesthermitienne etsipour toutvecteur v deKm,
·
vTAv 0,
≥
hermitienne de´finie positive, lorsque K = C,si A est hermitienne et si pour tout vecteur v
·
deKm 0 ,vTAv > 0.
\{ }
triangulaire infe´rieure sia = 0pourtout(i,j)telquei < j.
ij
·
triangulaire supe´rieure sia =0pourtout(i,j)telquei> j.
ij
·
Quelquesexemplesdematrices
Unematricesyme´triquenonhermitienne :
·
1 i
i 1
(cid:18) (cid:19)
Unematricehermitienne nonsyme´trique :
·
1 i
i 1
(cid:18)− (cid:19)
Unematricesyme´triqueethermitienne :
·
2 1
1 2
(cid:18) (cid:19)
6
MatricedeHouseholder :
·
Soitv unvecteurnonnul.Onde´finitlamatricedeHouseholder associe´e H(v)parH(v) =
I 2vvT . Cette matrice est syme´trique et orthogonale. Elle est associe´e a` la syme´trie or-
− v 2
thogonkalke par rapport a` l’hyperplan orthogonal a` v. Si x est un vecteur quelconque et u le
vecteurdecethyperplan telquex= αv+u,alorsH(v)x = αv+u.
−
Ellealesbonnesproprie´te´s suivantes:
Sieestunvecteurunitaireve´rifiantv = v e,alors
6 ±k k
H(v+ v e)v = v e et H(v v e)v = + v e.
k k −k k −k k k k
On peut de´ja` constater que H(v + v e) transforme un vecteur v qui a priori peut ne pas
k k
avoir decomposantes nulles, enunvecteurquin’aura qu’unecomposante nonnullepoure
dans la base canonique. Les matrices de Householder nous permettront ainsi de mettre en
placedesme´thodesdere´duction desmatrices(voirleschapitres suivants).
MatricedeGivens:
·
Lamatrice de Givens est une matrice de rotation. Soitθ un angle. Lamatrice associe´e a` la
rotation d’angleθ estlamatricedeGivens:
1
...
 
1
 
 c s 
 
 1 
 
 ... 
 
 1 
 
 s c 
 − 
 1 
 
 ... 
 
 1 
 
 
avec c = cos(θ) et s = sin(θ). Les e´le´ments non diagonaux non repre´sente´s sont nuls.
Cette matrice est orthogonale et ve´rifie des proprie´te´s semblables a` celles de la matrice de
Householder.
1.1.2 The´orie spectrale -Premie`res re´ductions
SoientA,B (C);tr(A):tracedeA;det(A):de´terminant deA.
m
∈ M
De´finition6.
Onappellepermutationd’ordrem,toutebijectiondel’ensemble 1, ,m danslui-meˆme.
{ ··· }
L’ensemble des permutations d’ordre m est note´ . On appelle signature d’une permutation
m
S
σ ,lenombre
m
∈S
ε(σ) = ( 1)p(σ) avec p(σ) = Inv (i,j),
σ
−
1 i j m
≤X≤ ≤
0 siσ(i) σ(j),
ou` Invσ(i,j) = 1 siσ(i) ≤ σ(j).
(cid:26) ≥
De´finition7.
On appelle trace de A et on note trA la somme de ses e´le´ments diagonaux. On appelle
de´terminant deAlenombre
m
detA = ε(σ) a .
iσ(j)
σX∈Sm Yi=1
7
Proprie´te´ 4.
Latraceetlede´terminant ve´rifientlesproprie´te´s suivantes :
tr(AB) = tr(BA),
det(AB) = detA detB = det(BA),
Latraceetlede´terminant sontinvariants parchangement debase.
Proprie´te´ 5.
De´signons par δ (i,j) le de´terminant de la matrice carre´e de taille (m 1) (m 1)
m 1
− − × −
extraite de A par suppression de la i-e`me ligne et de la j-e`me colonne. Alors, pour tout i
∈
1, ,m
{ ··· } m
detA= ( 1)i+ja δ (i,j).
ij m 1
− −
j=1
X
Cetterelationoffreunepremie`retechnique decalculd’unde´terminant. Maislecouˆtentemps
de calcul d’une telle me´thode est re´dhibitoire : de l’ordre de (m!). La programmation de cette
technique estalorsfortement de´conseille´e de`slorsquemn’estplusdel’ordredel’unite´.
De´finition8.
Onappellepolynoˆmecaracte´ristique etonnoteP (λ)(ouχ (λ))lepolynoˆme
A A
χ (λ) = P (λ) = det(A λI).
A A
−
Ses n racines complexes sont appele´es valeurs propres de A. Soit λ une valeur propre de A. On
i
ditqueλ estunevaleurpropredemultiplicite´ n siλ estuneracinedeP (λ)demultiplicite´ n .
i i i A i
L’ensembledesvaleurspropresdeAestappele´ spectredeAetestnote´ σ(A).
De´finition9.
Soit λune valeur propre de A. Ondit que xest un vecteur propre de Aassocie´ a` λsi x = 0
6
etAx = λx.
De´finition10.
Soit λ une valeur propre de A. On appelle sous-espace propre associe´ a` λ, le sous-espace
E = ker(A λI).Onappellesous-espace spectraloucaracte´ristique associe´ a` λlesous-espace
λ
−
F = ker(A λI)k.
λ k 1
∪ ≥ −
Remarque1.
Ilexistek telqueF = ker(A λI)k = ker(A λI)k0.
0 λ ∪1≤k≤k0 − −
De´finition11.
d
Soit P(X) = α Xi un polynoˆme sur C. On note P(A), polynoˆme de la matrice A, la
i
i=1
X
d
matrice α Ai.
i
i=1
X
Remarque2.
Soient P(X) et Q(X) deux polynoˆmes sur C. Alors P(A)Q(A) = Q(A)P(A). Si λ est
valeurpropredeAalorsP(λ)estvaleurpropredeP(A).
De´monstration :Soitxvecteurpropreassocie´ a` λ.Alors,A2x= A(λx) = λ2x.Parre´curren-
ce,onmontrequeApx= λpxetainsiP(A)x =P(λ)x.
The´ore`me1. (lemmedesnoyaux)
Soient λ , ,λ les p valeurs propres distinctes de A (K). On note n leurs multi-
1 p m i
plicite´s(1 n··· met p n = m),alors ∈ M
≤ i ≤ i=1 i
p
P
Cm = p F ou` F = ker(A λ )ni, n = dimF , et P (λ) = (λ λ)ni .
⊕i=1 λi λi − i i λi A i−
i=1
Y
8
De´finition12.
A (C) est toujours triangularisable, cad : Il existe T triangulaire et P (C)
m m
∈ M ∈ M
inversible tellesquePTP 1 = A.
−
A (C)est diagonalisable (cad, ilexiste D diagonale et P (C) inversible telles que
m m
∈ M ∈ M
PDP 1 = A)ssiF = E (autrement dit,dim (E ) = n )pourtoutevaleurpropreλ deA.
− λi λi λi i i
De´monstration delapremie`repartie(parre´currence surlataillemdelamatrice):
P admetuneracinedansCnote´eλ.Aadmetunvecteurproprev associe´ a` lavaleurpropreλ.Il
A
existe alors une matrice de changement de base P contenant v telle que A = P AP 1, avec A
1 1 1−
delaforme
λ α2 αm e e
···
0
A= . 
.
. B
 
0 
e
 
 
ou` B estunematricededimension(m 1) (m 1).
− × −
Hypothe`sedere´currence:B = P T P 1 avecT triangulaire etP inversible.Enposantfinale-
2 B 2− B 2
mentP = P P avecP de´finiepar
1 3 3
1 0 0
···
0
P3 = .. 
. P
2
 
0 
 
 
et(β , ,β )= (α , ,α )P ,onobtient
2 m 2 m 2
··· ···
λ β β
2 m
···
0
P−1AP = .. 
. T
B
 
0 
 
 
The´ore`me2. (the´ore`medeCayley-Hamilton)
P (A) = 0.
A
De´monstration : Si A est diagonalisable : Soit x un vecteur propre et λ la valeur propre as-
socie´e. AlorsonaP (A)x = P (λ)x=0.Onende´duit quetoutvecteur propre deAestdans le
A A
noyau de P (A), ce qui implique que P (A) = 0, puisqu’on peut trouver une base de vecteurs
A A
propres.
SiAestnondiagonalisable, onutilise deuxre´sultats nontriviaux :Densite´ del’ensemble des
matricesdiagonalisables dansl’ensembledesmatricesetcontinuite´ del’application A P (A).
A
7→
De´finition13.
Onappelle polynoˆme minimaldeAlepolynoˆme deplus petitdegre´ etdecoefficient deplus
hautdegre´ e´gala` 1,quis’annule enA.
Remarque3.
SiAadmetm valeurs propres distinctes deux a` deux, alors lepolynoˆme minimal este´gal au
polynoˆmecaracte´ristique. Lare´ciproque estfausse.
1 0
Exercice:Qu’enest-ildelamatrice ?
0 1
(cid:18) (cid:19)
9
Remarque4.
Soit B une base de F , alors B = p B est une base de Cm. Notons P la matrice de
i λi ∪i=1 i
changement debaseassocie´e, alors
A 0
1
P−1AP =  ... 
0 A
p
 
 
ou` A estunematricecarre´edetaillen ayantpouruniquevaleurpropreλ aveclamultiplicite´ n ,
i i i i
etpouvant eˆtrere´duiteselonlaformedeJordan. ChaqueA peuts’e´criresouslaforme
i
λ ε 0
i 1
 ... ... 
..
 . εni−1
 λ 
i
 
 
avecε 0,1 pourk = 1, ,n 1.
k i
∈{ } ··· −
Si la matrice est diagonalisable, la forme de Jordan donne la matrice diagonale. Sinon, cette
formepeuteˆtrequalifie´e“formediagonalise´e desmatricesnondiagonalisables”.
The´ore`me3. (the´ore`medeSchur)
PourtoutA (C),ilexisteU unitaire(U 1 = U )tellequeU AU soittriangulaire.
m − ∗ ∗
∈ M
De´monstration: P matricedechangementdebaseetT triangulaire tellesqueA = PTP 1.
−
∃
Soientv lesvecteurscolonnes deP.Soientu lesvecteursobtenusparorthonormalisation desv
i i i
respectant larelation Vect v , ,v = Vect u , ,u pour tout k. Unetelle ope´ration est
1 k 1 k
{ ··· } { ··· }
toujours possible, parleproce´de´ d’orthonormalisation deGram-Schmidtparexemple.Lamatrice
U engendre´e parlesu estdoncunitaireetU AU esttriangulaire.
i ∗
Eneffet, T triangulaire tellequeAP = PT Vect Av , ,Av Vect v , ,v
1 k 1 k
∃ ⇐⇒ { ··· } ⊂ { ··· }
= Vect Au , ,Au Vect u , ,u Rtriangulaire tellequeAU =UR.
1 k 1 k
⇒ { ··· } ⊂ { ··· }⇐⇒∃
Autre de´monstration : On aurait pu reprendre la de´monstration relative a` la de´finition des
matricestriangularisables encomple´tant v parunefamilledevecteurs orthogonaux a` v.
The´ore`me4.
LamatriceA,devaleurspropresλ , ,λ ,estnormale(AA = A A)sietseulements’il
1 m ∗ ∗
···
existeunematriceunitaire U tellequeA= Udiag(λ , ,λ )U .Deplus,Apeuts’e´crire
1 m ∗
···
m
A = λ u u ,
i i ∗i
i=1
X
ou` lesu de´signent lescolonnes deU,autrementdit,lesvecteurs propresdeA.
i
Remarque5.
Cette e´criture permet la mise en place d’une technique de re´duction de matrice lorsque cer-
tainesvaleurspropressontpetitesparrapport a` d’autres.
The´ore`me5.
LamatriceA,devaleurspropresλ , ,λ ,estauto-adjointe (A = A )sietseulements’il
1 m ∗
···
existeunematriceunitaire U tellequeA= Udiag(λ , ,λ )U ,avecλ R.
1 m ∗ i
··· ∈
De´monstration :corollaire dupre´ce´dent.
10