Regression avec R

254 Pages·2011·1.93 MB·French

by  Pierre-André Cornillon

Régression avec R
Springer

Paris
Berlin
Heidelberg
New York
Hong Kong
Londres
Milan
Tokyo
Pierre-André Cornillon
Eric Matzner-Løber
Régression avec R
Pierre-André Cornillon
Département MASS
Université Rennes-2-Haute-Bretagne
Place du Recteur H. Le Moal
CS 24307
35043 Rennes Cedex
Eric Matzner-Løber
Département MASS
Université Rennes-2-Haute-Bretagne
Place du Recteur H. Le Moal
CS 24307
35043 Rennes Cedex
ISBN : 978-2-8178-0183-4 Springer Paris Berlin Heidelberg New York
© Springer-Verlag France, 2011
Imprimé en France
Springer-Verlag est membre du groupe Springer Science + Business
Media
Cet ouvrage est soumis au copyright. Tous droits réservés, notamment la reproduction et la
représentation, la traduction, la réimpression, l’exposé, la reproduction des illustrations et
des tableaux, la transmission par voie d’enregistrement sonore ou visuel, la reproduction par
microfi lm ou tout autre moyen ainsi que la conservation des banques de données. La loi fran-
çaise sur le copyright du 9 septembre 1965 dans la version en vigueur n’autorise une repro-
duction intégrale ou partielle que dans certains cas, et en principe moyennant le paiement des
droits. Toute représentation, reproduction, contrefaçon ou conservation dans une banque de
données par quelque procédé que ce soit est sanctionnée par la loi pénale sur le copyright.
L’utilisation dans cet ouvrage de désignations, dénominations commerciales, marques de
fabrique, etc. même sans spécifi cation ne signifi e pas que ces termes soient libres de la législa-
tion sur les marques de fabrique et la protection des marques et qu’ils puissent être utilisés par
chacun.
La maison d’édition décline toute responsabilité quant à l’exactitude des indications de dosage
et des modes d’emploi. Dans chaque cas il incombe à l’usager de vérifi er les informations
données par comparaison à la littérature existante.
Maquette de couverture : Jean-François Montmarché
Collection Pratique R
dirigée par Pierre-André Cornillon
et Eric Matzner-Løber
Département MASS
Université Rennes-2-Haute-Bretagne
France
Comité éditorial :
Eva Cantoni Nicolas Hengartner
Département d’économétrie Los Alamos National Laboratory
Université de Genève USA
Suisse
François Husson
Vincent Goulet Département Sciences de l’ingénieur
École d’actuariat Agrocampus Ouest
Université Laval France
Canada
Sophie Lambert-Lacroix
Philippe Grosjean Département IUT STID
Département d’écologie Université Pierre Mendès France
numérique des milieux aquatiques France
Université de Mons
Belgique
À paraître dans la même collection :
Introduction aux méthodes de Monte-Carlo avec R
Christian P. Robert, George Casella, 2011
REMERCIEMENTS
TroisannéessesontécouléesdepuislasortiedulivreRégression:Théorieetappli-
cations.Lesretoursdeslecteursayantétépositifs,nousavonsdécidédereconduire
la formule du livre associant théorie et applications avec le langage R.
Cetouvrages’appuiesurdesexemples,etiln’existeraitpassansceux-ci.Al’heure
actuelle, s’il est facile de se procurer des données pour les analyser, il est beau-
coup plus difficile de les proposer comme exemple pour une diffusion. Les données
sont devenues confidentielles et les variables mesurées, jusqu’à leur intitulé même,
représentent une avancée stratégique vis-à-vis des concurrents. Il est ainsi presque
impensable de traiter des données issues du monde industriel ou du marketing,
bien que les exemples y soient nombreux. Cependant, trois organismes, via leur
directeur,ontautoriséladiffusiondeleursdonnées.Nousavonsdoncuntrèsgrand
plaisir à remercier M. Coron (Association Air Breizh), B. Mallet (CIRAD forêt)
et J-N. Marien (UR2PI). Nous souhaitons bien sûr associer tous les membres de
l’unité de recherche pour la productivité des plantations industrielles (UR2PI)
passés ou présents. Les membres de cet organisme de recherche congolais gèrent
de nombreux essais tant génétiques que sylvicoles et nous renvoyons toutes les
personnes intéressées auprès de cet organisme ou auprès du CIRAD, département
forêt (wwww.cirad.fr), qui est un des membres fondateurs et un participant actif
au sein de l’UR2PI.
Les versions antérieures de cet ouvrage résultent de l’action à des degrés divers
de nombreuses personnes. Nous souhaitons remercier ici les étudiants de la filière
MASS de Rennes 2 et ceux de l’ENSAI, qui ont permis l’élaboration de ce livre
à partir de notes de cours. Les commentaires pertinents, minutieux et avisés de
C.Abraham,N.Chèze,A.Guyader,N.Jégou,J.Josse,V.LefieuxetF.Rimeknous
avaient déjà permis d’améliorer le document initial alors même que l’on croyait
arriver au but.
Depuis la publication de Régression : Théorie et applications, nous avons remanié
certains chapitres, rajouté des exercices et corrigé les erreurs qui nous avaient été
signalées.Noussouhaitonsremercierlesenseignantsquiontutilisécelivrecomme
support de cours et qui nous ont fait profiter de leurs nombreux commentaires :
C. Abraham, N. Chèze, A. Guyader, P. Lafaye de Micheaux et V. Lefieux.
Lesremaniementsetl’ajoutdenouveauxchapitrescommeceluiconsacréàl’intro-
duction à la régression spline et la régression non paramétrique nous ont incités
à faire relire ces passages et à en rediscuter d’autres. Un grand merci à tous ces
contributeurs pour leur avis éclairés : A. Guyader, N. Jégou, H. Khuc, J. Ledoux,
V. Lefieux et N. Verzelen.
NosremerciementsvontenfinàN.HuilleretetC.RuelledeSpringer-Verlag(Paris),
pour le soutien qu’ils nous accordent pour cet ouvrage.
AVANT-PROPOS
Cet ouvrage est une évolution du livre Régression : théorie et applications paru
chez Springer-Verlag (Paris). Dès le départ, nous avions le souci d’aborder si-
multanément les fondements théoriques et l’application à des exemples concrets.
Nous avons rajouté de nouvelles méthodes ainsi que des exercices. Nous propo-
sons dorénavant sur la page consacrée à cet ouvrage sur le site de l’éditeur :
www.springer.com, tous les fichiers de codes R ainsi que la correction des exer-
cices. Le lecteur pourra donc, chapitre par chapitre, effectuer les commandes et
retrouver les résultats fournis dans le livre.
L’objectif de cet ouvrage est de rendre accessible au plus grand nombre une des
méthodes les plus utilisées de la statistique. Nous souhaitons aborder simultané-
mentlesfondementsthéoriquesetlesquestionsinévitablesquel’onseposelorsque
l’on modélise des phénomènes réels. En effet, comme pour toute méthode statis-
tique,ilestnécessairedecomprendreprécisémentlaméthodeetdesavoirlamettre
en œuvre. Si ces deux objectifs sont atteints, il sera alors aisé de transposer ces
acquis à d’autres méthodes, moyennant un investissement modéré, tant théorique
que pratique. Les grandes étapes – modélisation, estimation, choix de variables,
examendelavaliditédumodèlechoisi–restentlesmêmesd’uneméthodeàl’autre.
Cet ouvrage s’adresse aux étudiants des filières scientifiques, élèves ingénieurs,
chercheurs dans les domaines appliqués et plus généralement à tous les chercheurs
souhaitant modéliser des relations de causalité. Il utilise aussi les notions d’inter-
valledeconfiance,detest...Pourleslecteursn’ayantaucunenotiondecesconcepts,
le livre de Lejeune (2004) pourra constituer une aide précieuse pour certains pa-
ragraphes. Cet ouvrage nécessite la connaissance des bases du calcul matriciel :
définition d’une matrice, somme, produit, inverse, ainsi que valeurs propres et
vecteurs propres. Des résultats classiques sont toutefois rappelés en annexes afin
d’éviter de consulter trop souvent d’autres ouvrages.
Cet ouvrage souhaite concilier les fondements théoriques nécessaires à la compré-
hension et à la pratique de la méthode. Nous avons donc souhaité un livre avec
toutelarigueurscientifiquepossiblemaisdontlecontenuetlesidéesnesoientpas
noyés dans les démonstrations et les lignes de calculs. Pour cela, seules quelques
démonstrations, que nous pensons importantes, sont conservées dans le corps du
texte. Les autres résultats sont démontrés à titre d’exercice. Des exercices, de dif-
ficulté variable, sont proposés en fin de chapitre. La présence de † indique des
exercices plus difficiles. Des questions de cours sous la forme de QCM sont aussi
proposées afin d’aider aux révisions du chapitre. Les corrections sont fournies sur
le site de l’éditeur. En fin de chapitre, une partie «note» présente des discussions
qui pourront être ignorées lors d’une première lecture.
Afin que les connaissances acquises ne restent pas théoriques, nous avons intégré
des exemples traités avec le logiciel libre R. Grâce aux commandes rapportées
dans le livre, le lecteur pourra ainsi se familiariser avec le logiciel et retrouver
les mêmes résultats que ceux donnés dans le livre. Nous encourageons donc les
lecteursàutiliserlesdonnéesetlescodesafindes’approprierlathéoriemaisaussi
la pratique.
Au niveau de l’étude des chapitres, le premier de ceux-ci, consacré à la régression
simple, présente de nombreux concepts et idées. Il est donc important de le lire
afin de se familiariser avec les problèmes et les solutions envisagés ainsi qu’avec
l’utilité des hypothèses de la régression.
Lesecondchapitreprésentel’estimationetlagéométriedelaméthodedesmoindres
carrés. Il est donc fondamental.
Le troisième chapitre aborde la partie inférentielle. Il représente la partie la plus
technique et la plus calculatoire de cet ouvrage. En première lecture, il pourra
apparaître comme fastidieux, mais la compréhension de la géométrie des tests
entre modèles emboîtés est importante. Le calcul des lois peut être omis pour le
praticien.
Le quatrième chapitre présente très peu de calculs. Il permet de vérifier que le
modèle, et donc les conclusions que l’on peut en tirer, sont justes. Ce chapitre est
primordial pour le praticien. De plus, les idées sous-jacentes sont utilisées dans de
trèsnombreusesméthodesstatistiques.Lalecturedecechapitreestindispensable.
Lecinquièmechapitreprésentel’introductiondevariablesexplicativesqualitatives
dans le modèle de régression, soit en interaction avec une variable quantitative
(analyse de la covariance), soit seules (analyse de la variance). La présentation
oublie volontairement les formules classiques des estimateurs à base de somme et
de moyenne par cellule. Nous nous focalisons sur les problèmes de paramètres et
decontraintes,problèmesquiamènentsouventunequestionnaturelleàlavuedes
listings d’un logiciel : «Tiens, il manque une estimation d’un paramètre». Nous
avons donc souhaité répondre simplement à cette question inhérente à la prise en
compte de variables qualitatives.
Lesixièmechapitreprésentelechoixdevariables(oudemodèles).Nousprésentons
le problème via l’analyse d’un exemple à 3 variables. A partir des conclusions
tirées de cet exemple, nous choisissons un critère de sélection (erreur quadratique
moyenne) et nous proposons des estimateurs cohérents. Ensuite, nous axons la
présentation sur l’utilisation des critères classiques et des algorithmes de choix de
modèlesprésentsdanstousleslogicielsetnouscomparonscescritères.Enfin,nous
discutons des problèmes engendrés par cette utilisation classique. Ce chapitre est
primordial pour comprendre la sélection de modèle et ses problèmes.
Le septième chapitre propose les premières extensions de la régression. Il s’agit
principalement d’une présentation succincte de certaines méthodes utilisées en
moindres carrés généralisés.
Les huitième et neuvième chapitres présentent des extensions classiques de régres-
sion biaisée (ridge, lasso, Lars) et deux techniques de régression sur composantes
(régression sur composantes principales et régression PLS). D’un point de vue
théorique, ils permettent d’approfondir les problèmes de contraintes sur le vec-
teur de coefficients. Chaque méthode est présentée d’un point de vue pratique de
manière à permettre une prise en main rapide. Elles sont illustrées sur le même
exemple de spectroscopie, domaine d’application désormais très classique.
Le livre se termine par un chapitre dédié à une introduction à la régression spline
et aux méthodes de régression non paramétrique à noyau.
Table des matières
Remerciements vii
Avant-Propos ix
1 La régression linéaire simple 1
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1 Un exemple : la pollution de l’air . . . . . . . . . . . . . . . 1
1.1.2 Un deuxième exemple : la hauteur des arbres . . . . . . . . 3
1.2 Modélisation mathématique . . . . . . . . . . . . . . . . . . . . . . 5
1.2.1 Choix du critère de qualité et distance à la droite . . . . . . 5
1.2.2 Choix des fonctions à utiliser . . . . . . . . . . . . . . . . . 7
1.3 Modélisation statistique . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 Estimateurs des moindres carrés . . . . . . . . . . . . . . . . . . . 9
1.4.1 Calcul des estimateurs de β , quelques propriétés . . . . . . 9
j
1.4.2 Résidus et variance résiduelle . . . . . . . . . . . . . . . . . 13
1.4.3 Prévision . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.5 Interprétations géométriques . . . . . . . . . . . . . . . . . . . . . 14
1.5.1 Représentation des individus . . . . . . . . . . . . . . . . . 14
1.5.2 Représentation des variables. . . . . . . . . . . . . . . . . . 15
1.6 Inférence statistique . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.7 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.8 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2 La régression linéaire multiple 29
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2 Modélisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.3 Estimateurs des moindres carrés . . . . . . . . . . . . . . . . . . . 32
2.3.1 Calcul de βˆ et interprétation . . . . . . . . . . . . . . . . . 33
2.3.2 Quelques propriétés statistiques . . . . . . . . . . . . . . . . 36
2.3.3 Résidus et variance résiduelle . . . . . . . . . . . . . . . . . 36
2.3.4 Prévision . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.4 Interprétation géométrique . . . . . . . . . . . . . . . . . . . . . . 38
2.5 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
xii Régression avec R
2.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3 Inférence dans le modèle gaussien 47
3.1 Estimateurs du maximum de vraisemblance . . . . . . . . . . . . . 47
3.2 Nouvelles propriétés statistiques. . . . . . . . . . . . . . . . . . . . 48
3.3 Intervalles et régions de confiance . . . . . . . . . . . . . . . . . . . 50
3.4 Exemple . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.5 Prévision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.6 Les tests d’hypothèses . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.6.2 Test entre modèles emboîtés . . . . . . . . . . . . . . . . . . 55
3.7 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.8 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.9 Note : intervalle de confiance par Bootstrap . . . . . . . . . . . . . 64
4 Validation du modèle 67
4.1 Analyse des résidus . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.1.1 Les différents résidus . . . . . . . . . . . . . . . . . . . . . . 68
4.1.2 Ajustement individuel au modèle, valeur aberrante . . . . . 70
4.1.3 Analyse de la normalité . . . . . . . . . . . . . . . . . . . . 71
4.1.4 Analyse de l’homoscédasticité . . . . . . . . . . . . . . . . . 71
4.1.5 Analyse de la structure des résidus . . . . . . . . . . . . . . 72
4.2 Analyse de la matrice de projection . . . . . . . . . . . . . . . . . . 75
4.3 Autres mesures diagnostiques . . . . . . . . . . . . . . . . . . . . . 76
4.4 Effet d’une variable explicative . . . . . . . . . . . . . . . . . . . . 79
4.4.1 Ajustement au modèle . . . . . . . . . . . . . . . . . . . . . 79
4.4.2 Régression partielle : impact d’une variable . . . . . . . . . 80
4.4.3 Résidus partiels et résidus partiels augmentés . . . . . . . . 81
4.5 Exemple : la concentration en ozone . . . . . . . . . . . . . . . . . 83
4.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
5 Régression sur variables qualitatives 89
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5.2 Analyse de la covariance . . . . . . . . . . . . . . . . . . . . . . . . 90
5.2.1 Introduction : exemple des eucalyptus . . . . . . . . . . . . 90
5.2.2 Modélisation du problème . . . . . . . . . . . . . . . . . . . 92
5.2.3 Hypothèse gaussienne . . . . . . . . . . . . . . . . . . . . . 94
5.2.4 Exemple : la concentration en ozone . . . . . . . . . . . . . 95
5.2.5 Exemple : la hauteur des eucalyptus . . . . . . . . . . . . . 99
5.3 Analyse de la variance à 1 facteur. . . . . . . . . . . . . . . . . . . 101
5.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.3.2 Modélisation du problème . . . . . . . . . . . . . . . . . . . 102
5.3.3 Estimation des paramètres . . . . . . . . . . . . . . . . . . 104
5.3.4 Interprétation des contraintes . . . . . . . . . . . . . . . . . 105
5.3.5 Hypothèse gaussienne et test d’influence du facteur . . . . . 105