Table Of Content,
ANALVS NUMERIQUE
MATRICIELLE
I'- Cours
• Exercices
Ill- Corrigés détaillés
Luca Amadei
,Jean-Piene 0edieu
1
_
•BEancJtculxlu s2008 ~. , , -dPlrtotot~es-inot n
.J~oasrarti1a11ti<ee:r91e1u etss d e.-l M -1 =1 . <cDheao -lann. ~tem~en1~ a --_-.',,"..·. -.-. Del
'>ilMl'li('(lle f3dlM
CJeoai.no-tP<iee.rrMe tf'lt - ...cL.!ei.dra.'IrJ.ol. lR(.u.o.tt ttyi.Q -........ ..
FH~anrç'1o1Al.s ,-_-- --
EGlHleanunteM e. ~...
l.1ontaima ·.. --
·=·"'"· 1
xtJ6rMnctt.1 •IO
.ru.!.,..f u1>:1r tJS'f'CfkllOQledu
·~·
-- rartklla<:lf Cl fJlmlf':" W
'TlOJons .et
YvanPaquel.
Pascall.egrP
Elisabelh
Rosnel.
Stéphane
Ru. ....
d§tg.!,_,!P@i 4.QJ,,A., 4~.!YM•M$,..falJW~.
-0
0
c
::J
0
CX)
0
0
N
@
.~.c
OI
·c
>
Cl.
0
u
,
ANALYSE NUMERIQUE
MATRICIELLE
Cours et exercices corrigés
Luca Amadei
Maître de conférences à l'Institut
de Mathématiques de Toulouse
Jean-Pierre Oedieu
Professeur à l'Institut
de Mathématiques de Toulouse
-0
0
c
::J
0
OO
0
0
N
@
......
..c
en
ï::::
>
a.
0
u
DU NOD
Série« Mathématiques pour le Master/SMAI »
La série« Mathématiques pour le Master/SMAI >>propose une nouvelle génération de livres
adaptés aux étudiants de Master niveau M1 et aux élèves ingénieurs. Leur adéquation au
cursus LMD et aux outils de calcul modernes sont au service de la qualité scientifique.
La SMAI (Société de Mathématiques Appliquées et Industrielles) assure la direction édito
riale grâce à un comité renouvelé périodiquement et largement représentatif des différents
thèmes des mathématiques appliquées et de leur évolution: analyse numérique, probabili
tés appliquées, statistique, optimisation, systèmes dynamiques et commande, traitement
d'images et du signal, finance, recherche opérationnelle, etc. Son ambition est de constituer
un ensemble d'ouvrages de référence.
1l lustration de couverture : © Digitalvision
Le pictogramme qui figure ci-contre d'enseignement supérieur, provoquant une
mérite une explication. Son objet est baisse brutale des achats de livres et de
d'alerter le lecteur sur la menace que revues, au point que la possibilité même pour
représente pour l'avenir de l'écrit, les auteurs de créer des œwres
particulièrement dans le domaine DANGER nawelles et de les faire éditer cor
de l'édition technique et universi ® rectement est aujourd'hui menacée.
taire, le développement massif du Nous rappelons donc que toute
photocopillage. reproduction, portielle ou totale,
Le Code de la propriété intellec- de la présente publication est
tuelle du 1er juillet 1992 interdit LE PHOTOCOPILLAGE interdite sans autorisation de
en effet expressément la photoco· TUE LE LIVRE l'auteur, de son éditeur ou du
pie à usage collectif sans autori· Centre français d'exploitation du
-0 salien des ayants droit. Or, cette pratique droit de copie (CFC, 20, rve des
0
c s'est généralisée dans les établissements Grands-Augustins, 75006 Paris).
::J
0
OO
0
0
N © Dunod, Paris, 2008
@
...... ISBN 978-2-10-052085-5
..c
en
ï::::
>
a. Le Code de la propriété intellectuelle n'autorisant, oux termes de l'article
0
u L. 122-5, 2° el 3° a), d'une pari, que les «copies ou reproductions strictement
réservées à l'usage privé du copiste et non destinées à une utilisation collective »
et, d'autre part, que les analyses et les courtes citations dons un but d'exemple et
d'illustration, « toute représentation ou reproduction intégrale ou partielle faite
sans le consentement de l'auteur ou de ses oyants droit ou ayants couse est
illicite » (art. L. 1224).
Cette représentation ou reproduction, par quelque procédé que ce soit, constitue
rait donc une contrefaçon sanctionnée par les articles L. 335-2 et suivants du
Code de la propriété intellectuelle.
Avant-propos
Ce livre est issu des cours d'analyse numérique matricielle que nous avons ensei
gnés pendant plusieurs années en licence de mathématique et en licence d'ingénierie
mathématique. Il s'adresse aux étudiants de licence, à ceux de mastère ou préparant
l'agrégation, aux élèves ingénieurs et aux chercheurs confirmés.
Cet ouvrage s'articule autour de quatre thèmes principaux qui sont:
• Les décompositions matricielles,
• La résolution des systèmes d'équations linéaires,
• Le calcul des valeurs propres,
• Le problème des erreurs en algèbre linéaire.
À vrai dire, cette division est informelle et plusieurs thèmes peuvent être abordés au
sein d'un même chapitre.
En rédigeant ce manuscrit, nous avons adopté le point de vue d'un numéricien :
..... pour chaque problème étudié nous décrivons :
-0 ~
0 "O
c c
::J .:..:.l. • Les résultats théoriques qui y sont associés,
0
</)
V
OO
V
0 'V • Les problèmes de robustesse et de sensibilité,
0 ·<;:/::)
N
8
@ :r:ol
...... • L'algorithmique et les problèmes de complexité,
..c c
en c0
ï::::
a>-. ·oV .. • La stabilité des algorithmes.
0 0
u (.)
0
0
..c: Par robustesse et sensibilité nous entendons l'étude locale de la fonction problème -
o..
ro
.....J solution c'est-à-dire l'étude des variations de la solution d'un problème en fonction des
1
"O variations des données. Elle conduit au concept de conditionnement d'un problème qui
0
c
::l est un des concepts clé de l'analyse numérique. Le conditionnement est une mesure
0
@ de la difficulté intrinsèque d'un problème.
vi Avant-propos
Le problème de la stabilité est, quant à lui, lié à l'utilisation d'une arithmétique
de précision finie au lieu de l'arithmétique des nombres réels. Les erreurs que l'on
commet pour calculer la solution d'un problème dépendent alors de l'algorithme
choisi pour mener ce calcul : des algorithmes différents peuvent donner des solutions
(approchées) différentes. La recherche d'algorithmes stables est un souci majeur de
l'analyse numérique.
Nous définissons la complexité d'un algorithme par le nombre d'opérations arithmé
tiques sur le corps des nombres réels (ou des nombres complexes) que requiert l'algo
rithme considéré. Un tel modèle continu (modèle Blum-Shub-Smale par exemple) est
cohérent avec l'usage de l'arithmétique virgule flottante.
Nous nous écartons du calcul formel sur ces deux derniers points. En effet, l'usage
de l'arithmétique (exacte) des nombres entiers rend inutile l'étude de la stabilité des
algorithmes, quant aux problèmes de complexité sur des modèles discrets ils font
aussi intervenir la taille des entiers considérés alors que, dans notre modèle, chaque
opération sur les nombres réels compte pour une unité quelle que soit la taille des
nombres ou la nature de l'opération.
Ce livre débute par un chapitre de rappels. Il sert à fixer les notations utilisées
et il contient l'énoncé de théorèmes fondamentaux de l'algèbre linéaire. Les quatre
chapitres suivants (2 à 5) sont consacrés aux normes matricielles, à l'arithmétique
virgule flottante, au conditionnement et au problème des erreurs. On passe ensuite
aux décompositions matricielles : LU, QR, Cholesky, SVD, à leur application à la
résolution des systèmes et au problème des moindres carrés (chapitres 6 à 9). Les deux
chapitres suivants étudient les méthodes itératives pour la résolution des systèmes.
Elles sont fondées soit sur un schéma de type approximations successives (chapitre 10)
soit sur des méthodes de projections sur des espaces de Krylov (chapitre 11). Les
chapitres 12 à 15 sont consacrés aux problèmes de sensibilité des problèmes de valeurs
propres, à leur calcul et à celui des sous-espaces invariants. Les chapitres 16 et 17
présentent des exemples de matrices et de problèmes d'algèbre linéaire : matrices
-0
0 classiques, systèmes obtenus via l'approximation d'équations aux dérivées partielles,
c
::J problèmes industriels et assimilation des données.
0
CX)
Chaque chapitre se termine par un paragraphe d'exercices. Certains sont de simples
0
0
N applications numériques, d'autres de véritables prolongements du cours. Ces exercices
@
sont corrigés en fin d'ouvrage.
.~.c
O'I
·c
>
Cl. Luca Amodei, Jean-Pierre Dedieu, Toulouse, juillet 2007.
0
u
Table des matières
AVANT-PROPOS v
CHAPITRE 1 • RAPPELS D'ALGÈBRE LINÉAIRE............. ..... ....... ..... 1
1 . 1 Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Rang et noyau d'une matrice................. ................ 2
1.3 Déterminant. ................................................ 3
1.4 Valeurs propres et vecteurs propres.. .......... .. .... ... .. ... . 3
1.5 Sous-espaces caractéristiques et théorème de Cayley-Hamilton 5
1.6 Décomposition de Jordan.. .... ... .... .... ..... .... ..... ..... 6
1.7 Trace....... .... .. ... .. ........ .. ... .. ... .......... ..... ..... 6
1.8 Produit hermitien ....... ...... ..... ............... ..... ...... 7
....
1.9 Produit scalaire. ...... .. ... ................ .... .. ........ .... 8
-0 ~
0 "O
c::J .i;.:::.::.s 1.10 Matrices unitaires......... .................... ............... 9
0 ""'
CX) ~
0 '~~ 1 .11 Matrices orthogonales . . .. . . . .. . . .. . . . . . . . . . .. . . . . .. . . . .. . . . . 1 O
0 ·"c"::'
N
0
@ '='
ro 1.12 Matrices hermitiennes, symétriques, normales . . . . . . . . . . . . . . . . 1 O
.~.c i::
0
·Oc'I i:: 1 .13 Projections orthogonales. . . . .. . . .. .. . . .. . . .. . . . . . .. . . . .. . . . . . 11
>- ·s~..
Cl.
u0 .(00... .) 1 .14 Matrices par blocs .. . .. . . . .. .. . .. . . . .. .. . .. . . . .. . . . . . . . . .. .. . 12
0
..c:
o..
ro 1.15 Décomposition de Schur ..................................... 15
......l
1
"O
0 1 . 16 Notes et références . . . .. . . . .. . . .. . . . .. . . . . .. . . . .. . . . . .. . . . .. . 17
i;:::::s
Q
@ EXERCICES. ..... ... ..... .... ... ..... ... ..... .... ... .......... .... 19
viii Table des matières
CHAPITRE 2 • L'ARITHMÉTIQUE« VIRGULE FLOTTANTE» 25
2.1 Les nombres flottants.. ...... ..... .... .. ... ..... .. .... .... .. . 25
2.2 Arrondis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.3 L'arithmétique flottante ...... .................... ............ 28
2.4 Exemple : le calcul du produit scalaire . . . . . . . . . . . . . . . . . . . . . . . . 28
2. 5 Notes et références . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
EXERCICES... ..... ... ...... ...... .... .... ....... ..... .... ..... ... 32
CHAPITRE 3 • NORMES SUR LES ESPACES DE MATRICES. . . . . . . . . . . . . . . . . . . . 33
3.1 Norme d'opérateur ... .................... ................... 33
3.2 Rayon spectral.. ..... .. ..... .... ........ ... ............ ..... . 35
3.3 La norme spectrale...... ...... .... ..... ..... ...... .... ...... 36
3.4 La norme de Frobenius....... .. ... ..... .......... .. ... ..... .. 37
3.5 Le théorème de perturbation de Neumann.. .. ...... .... .... .. 39
3.6 Notes et références.......................................... 40
EXERCICES... .. .. ... ...... .. .... ...... ..... ..... .... ...... ..... .. 41
CHAPITRE 4 • LA DÉCOMPOSITION EN VALEURS SINGULIÈRES . . . . . . . . . . . . . . 47
4.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.2 Calcul des valeurs singulières. ................................ 49
-0
0
c 4.3 Notes et références...... ...... .... ...... ... .... ....... ...... 49
::J
0
CX) EXERCICES ... .......... ..... ..... ..... ..... .......... ..... ..... .. 50
0
0
N
@
CHAPITRE 5 • LE PROBLÈME DES ERREURS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
.~.c
OI
·c 5.1 Introduction. ...... .... .. .. ...... ...... .... .. .. ...... ... .. ... 53
>
Cl.
0
u
5.2 Concepts généraux.. ..... ... .. ... .. ..... ..... .... ...... .... . 55
5.3 Le théorème des fonctions implicites . . . . . . . . . . . . . . . . . . . . . . . . . 57
5.4 Le cas des systèmes linéaires : conditionnement d'une matrice. 61
5.5 Le cas des systèmes linéaires : erreurs inverses... ....... ....... 64
Table des matières ix
5.6 Préconditionnement d'un système linéaire .. .......... ........ 64
5. 7 Notes et références . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
EXERCICES .... ......... .. ... ..... .......... .......... ..... ..... .. 67
CHAPITRE 6 • PIVOT DE GAUSS ET DÉCOMPOSITION LU . . . . . . . . . . . . . . . . . . . . 69
6.1 Résolution des systèmes triangulaires.............. ........... 69
6.2 L'élimination de Gauss ....................................... 70
6.3 Décomposition LU .. .. .................. .. .................. . 71
6.4 Pivot partiel, pivot total . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
6.5 Complexité. .... ..... .... .. ... ... .. .... .. .... .. ... ... .. ..... . 80
6.6 Conditionnement de la décomposition LU.... ........ ... .... . 81
6.7 Notes et références. ..... ..... ............ ... ..... ...... .... . 83
EXERCICES. .. .......... ..... ..... ..... ..... .......... ..... ..... .. 84
CHAPITRE 7 • MATRICES DÉFINIES POSITIVES ET DÉCOMPOSITION DE
CHOLESKY. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
7 .1 Matrices définies positives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
7.2 Quadriques et optimisation.. .... .... .... ..... .... ....... .. .. 91
7.3 Racine carrée d'une matrice, décomposition polaire..... .. ... . 95
7.4 La décomposition de Cholesky. .... ..... ... ....... ... .. ...... 96
....
7.5 Complexité de la décomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
-0 ~
0 "O
c::J .i;.:::.::.s 7.6 Conditionnement de la décomposition de Cholesky........... 98
0 ""'
CX) ~
0 '~~ 7. 7 Notes et références . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1O O
0 ·"c"::'
N
0
@ 'r=o' EXERCICES... ..... .......... ..... .... ... ................. ..... ... 101
.~.c i::
0
·Oc'I i::
>- ·s~.. CHAPITRE 8 • LA DÉCOMPOSITION QR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 7
Cl.
u0 .(00... .) 8.1 Matrices de Stiefel.. .... ..... ..... ..... ..... .......... .... .. . 107
0
..c:
o..
ro 8.2 Décomposition QR..................................... ...... 108
......l
1
"O
0 8.3 L'orthonormalisation de Gram-Schmidt ..... .................. 109
i;:::::s
Q
@ 8.4 Rotations de Givens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
Table des matières
X
8.5 La méthode de Householder................ .......... ....... 116
8.6 Réduction à la forme de Hessenberg.... ... ....... ......... .. . 121
8. 7 Tridiagonalisation d'une matrice hermitienne...... ......... .. . 124
8.8 L'algorithme d'Arnoldi ...... .......... .... ..... .. ........ .... 125
8.9 L'algorithme de Lanczos... ...... .. .... .. .... .... ........ ..... 129
8.10 Conditionnement de la décomposition QR . . . . . . . . . . . . . . . . . . . . 132
8.11 Notes et références. ........... .......... ................... . 137
EXERCICES ....................................................... 138
CHAPITRE 9 • INVERSES GÉNÉRALISÉS ET MOINDRES CARRÉS. . . . . . . . . . . . . . . 141
9.1 Inverses généralisés. ....... ..... ..... ..... ..... .... ... .. ..... 141
9.2 Moindres carrés .... .... .... ...... ...... .... ..... ..... ...... . 146
9.3 Problèmes surdéterminés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
9.4 Etude d'un exemple : l'équation AX = B..................... 154
9.5 Notes et références ...................... ................... . 155
EXERCICES .................. ..... .... .. ...... ... ..... ... .... ..... 156
CHAPITRE 10 •MÉTHODES ITÉRATIVES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
10.1 Résultats généraux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
10.2 Choix d'un test d'arrêt.. .............. ....................... 164
-0 10.3 Exemples de méthodes itératives. ...... ...... ..... ......... .. 166
0
c
::J
0 10.4 Convergence des méthodes itératives.. ... ... ... ...... ..... ... 168
CX)
0
0N 10.5 Exemples.. ...... .... .. .. .. .... ..... .. ... .. .. ... ... ... ...... . 173
@
.~.c 10.6 Méthodes itératives et préconditionnement. ...... ......... .. . 174
OI
·c
> 1O.7 Notes et références. ............ ..... ......... ............... 175
Cl.
0
u
EXERCICES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
CHAPITRE 11 • MÉTHODES DE PROJECTION SUR DES SOUS-ESPACES
DE KRYLOV... ..... .... .. .... ....... ... ....... ..... ..... .. 181
11.1 Structure générale d'une méthode de projection . . . . . . . . . . . . . . 182
