Probabilités, analyses des données et statistiques, Deuxième édition

631 Pages·2006·15.19 MB·French

by  Gilbert Saporta

Gilbert SAPORTA
Professeur au Conservatoire National
des Arts et Métiers
OB
5
2e édition révisée et augmentée
2006
Editions TECHNIP
27 rue Ginoux, 75737 PARIS Cedex 15, FRANCE
CHEZ LE MÊME É.DITEUR
.. Approche pragmatique de la classification
J.P. NAKACHE, J. CONFAIS
.. Data rnining et statistique décisionnelle
s. TUFFÉRY
.. Statistique explicative appliquée
J.P. NAKACHE, J. CONFAIS
• Les techniques de sondage, nOliveHe édition
P. ARDIllY
.. Analyse statistique des données spatiales
J.-J. DROESBEIŒ, M. lEJEUNE~ d:sAPoRTX;Eds.
.. Modèles statistiques pour données qualitatives
J .-1. DROESBEKE, M. LEJEUNE, G. SAPORTA, Eds.
• Plans d'expériences. Applications à l'entreprise
J.-J. DROESBEKE, J. FINE, G. SAPORTA, Eds.
• Méthodes bayésiennes en statistique
J.-J. DROESBEKE, J. FINE, G. SAPORTA, Eds.
.. La régression PLS. Théorie et pratique
M.TENENHAUS
• Probabilités. Exercices corrigés
D.GHORBANZADEH
Tous droits de traduction, de reproduction et d'adaptation réservés pour tous pays.
Toute représentation, reproduction intégrale ou partielle faite pur quelque procédé que ce soit, sans Je
consentement de l'auteur ou de ses ayants cause, est illicite el constitue une contrefaçon sanctionnée
par les articles 425 et suivants du Code pénaL
Par ailleurs, la loi du 1 1 mars 1957 interdit formellement Jes copies ou les reproductions destinées à
une utilisation collective.
© Editions Teclmip. Paris, 2006.
Imprimé en France
ISBN 2-7108-0814-5
Avant-propos
La précédente édition de cet ouvrage a été publiée en 1990. Nous évoquions alors les
évolutions de la statistique de la décennie passée. Depuis lors, les de l'informatique
n'ont cessé. permettant d'une part l'utilisation de nouvelles méthodes fondées sur des cal
culs intensifs (simulation, méthodes non-paramétriques et algorithmiques), et d'autre part le
traitement de données en masse qui a donné lieu à l'émergence du « data mining » ou
« fouille de données ». Les logiciels de calcul statistique n'ont cessé de se perfectionner et
de se diffuser à tel point que des méthodes complexes sont employées de façon routinière
sans pour cela que l'utilisateur les domine toujours.
Cette nouvelle édition prend en compte ces évolutions. Outre une mise à jour de cer
tains exemples, les principaux développements concernent les méthodes de Monte Carlo,
l'estimation non paramétrique, la modélisation prédictive avec l'introduction des méthodes
de régression en présence de mul ticolinéari té, la régression logistique, les SVM et les
techniques d'apprentissage. Nous avons également rajouté deux chapitres consacrés aux
deux grandes méthodologies de recueil des données: sondages et plans d'expériences. Ce
livre a pour but de donner aux étudiants et aux praticiens les outils nécessaires pour appli
quer correctement les méthodes statistiques. La plupart des résultats sont démontrés, sauf
certains pour lesquels les preuves trop techniques auraient alourdi ce livre. Les 21 chapitres
sont regroupés en cinq parties:
La première « outils probabilistes » donne les bases nécessaires à l'inférence clas
sique. L'approche probabiliste permet de prendre en compte le fait que notre univers
n'est pas déterministe et que les données dont on dispose ne sont pas parfaites. La
deuxième partie intitulée « statistique exploratoire» regroupe les outils de description
non-probabilistes des données, allant de la statistique descriptive unidimensionnelle à ce
que l'on appelle « analyse des données» en un sens restreint qui selon nous ne se limite
pas aux méthodes dérivées de l'analyse en composantes principales et de la classifica
tion : pour nous le but de la statistique est d'analyser des données ... La troisième par
tie « statistique inférentielle » est consacrée classiquement à l'estimation et aux tests. La
quatrième partie « modèles prédictifs» regroupe les techniques de régression au sens
large où on cherche un modèle reliant une réponse Y à des prédicteurs Xj• La cinquième
partie concerne « le recueil des données » par sondages ou expérimentation. Le recueil
des données constitue un préalable à l'analyse; le placer en dernière partÎe peut sembler
vi _Avant-propos
illogique, mais le fait est que la collecte des données ne peut se concevoir sans en
connaître l'usage ultérieur, ce qui nécessite la compréhension de l'estimation el de la
modélisation.
Je remercie enfin tous ceux qui onl contribué à un titre ou à un autre à la réalîsation de cet
ouvrage, ainsi que les Éditions Technip pour leur patience et le soin apporté à sa réalîsution.
Gilbert Saporta
(mars 2006)
Table des matières
Avant propos .......................................................... v
Introduction ............................................................ xx v
Première partie: Outils probabilistes
1 1
Ch 1 : Le modèle probabiliste ............................................ 3
1.1 Espace probabilisable ................................................ 3
1.1.1 Expérience aléatoire et événements ................................. 3
1.1.2 Algèbre des événements .......................................... 4
1.2 Espace probabilisé ................................................... 5
1.2.1 L'axiomatique de Kolmogorov ..................................... 5
1.2.2 Propriétés élémentaires ........................................... 5
1.3 Lois de probabilités conditionnelles, indépendance ......................... 6
1.3.\ Introduction et détinitions ......................................... 6
1.3.2 Indépendance .................................................. 8
1.3.2.1 Indépendance de deux événements ........................... 8
1.3.2.2 Indépendance deux à deux et indépendancc mutuelle ............. 8
1.3.3 Formules de Bayes .............................................. 9
1.4 Réflexions sur le concept de probabilité ................................. 10
lA.1 La conception objectiviste ....................................... 10
104.1.1 La vision classique ...................................... 10
104.1.2 Un paradoxe célèbre ..................................... Il
104.1.3 La vision fréquentiste .................................... 12
104.2 La conception subjectiviste ....................................... 12
1.4.2.1 Mesure d'incertitude .................................... 13
1.4.2.2 Le bayésianisme ........................................ 13
Ch 2 : Variables aléatoires .............................................. \5
2.1 Loi de probabilité et moments d'une variable aléatoire réelle ................ 15
2.1.\ Définition et fonction de répartition ............................. \5
2.1.1.1 Généralités ........................................ 15
viii .Table des matières
2.1.1.2 Fonction de répartition ................................ 16
2.1.1.3 Variables continues .................................. 18
2. L lA Taux instantané de défaillance ........................... 19
2.1.2 Loi d'une fonction d'une variable aléatoire Y <p(X) ••••••••••••...••• 20
2.1.2.1 <p bijective ........................................ 20
2.1.2.2 <p quelconque ...................................... 21
2.1.3 Indépendance de deux variables aléatoires ......................... 21
2.1.4 Moments d'une variable aléatoire ............................... 22
2.104.1 L'espérance mathématique ............................. 22
2.1.4.2 La variance ........................................ 25
2.104.3 Autres momenLS .................................... 27
2.lAA Ordres stochastiques ................................. 28
2.2 Lois de probabilité discrètes d'usage courant .......................... 30
2.2.1 Loi discrète uniforme ....................................... 30
2.2.2 Loi de Bernoulli de paramètre p ........................•.•..... 30
2.2.3 Loi binomiale 93(n ; p) ...................................... 31
2.2.4 Loi de Poisson rJ'l(X-) •••••••••••••••.•.••••••••••••••••.•.••• 33
2.2.5 Loi hypergéométrique 'dC(N, Il, p) ou du tirage exhaustif. ............... 36
2.2.5.1 Espérance de l'hypergéométrique ........................... 36
2.2.5.2 Variance de l'hypergéométrique ............................ 36
2.2.5.3 Tendance vers la loi binomiale ............................. 37
2.2.6 Lois géométrique, de Pascal, binomiale négative ..................... 38
2.3 Distributions continues usuelles .................................... 38
2.3.1 Loi uniforme sur [0, aJ ...................................... 38
1.3.2 Loi exponentielle de paramèlre X- •.•••••••••••••...••••••••••••• 39
2.3.3 Lois gamma ............................................. 40
2.3.3.1 Espérance ............................................. 40
2.3.3.2 Variance .............................................. 40
2.3.4 Lois bêta ................................................ 41
2.3.4.1 Loi bêta de type 1 ....................................... 41
2.304.2 Loi bêta de type II ....................................... 41
2.3.4.3 Loi de l'arc sinus ....................................... 42
2.3.5 La loi de Laplace-Gauss ..................................... 43
2.3.5.1 Valeurs remarquables .................................... 44
2.3.5.2 Moments .............................................. 44
2.3.5.3 Additivité ............................................. 45
2.3.504 Loi de U2 ••••••••••••••••••••••••••••••••••••••••••••• 45
2.3.6 La loi log-normale ......................................... 45
2.3.7 Loi de Cauchy ............................................ 46
2.3.8 Loi de Weibull. . . . . . . .. . ................................. 46
2.3.9 Loi de Gumbel. ........................................... 47
2.4 Le processus ponctuel de Poisson ................................... 48
204.1 Flux poissonnîen d'événements ................................ 49
204.2 Étude de la durée T séparant deux événements conséculifs Ej et Ei + 1 ••••••• 49
204.3 Étude de la durée Y séparant n + 1 événements ..................... 50
aTable des matières ix
1.4.4 Élude du nombre d'événements se produisant
pendant une période de durée T fixée ............................ 50
2.4.5 Étude de la répartition des dates El' E:!. •... El! dans l'intervalle AB ......... 51
1.4.6 Le processus (Nt) ............................................... 52
2.5 Convolution........... . ........................................... 51
2.5.1 Cas discret. ................................................... 51
2.5.2 Cas général ................................................... 53
2.5.3 Applications .................................................. 54
2.5.3.1 Somme de lois "y ••••••••••••••••.•.••••••••••••••••••••• 54
2.5.3.2 Somme de lois uniformes sur [0, 1]. . . . . . . . ................ 55
2.6 Fonctions caractéristiques ............................................ 55
1.6.1 Définitions et principales propriétés ................................. 55
2.6.LI Définition ............................................. 55
2.éU.2 Fonction caractéristique d'une fonne 1inéaire .................. 56
2.6.1.3 Convolution ........................................... 56
2.6.1.4 Cas d'une distribution symétrique ........................... 56
2.6.1.5 Dérivées à l'origine et moments non centrés ................... 56
2.6.1.6 Unicité et inversion de la fonction caractéristique ............... 57
2.6.2 Fonctions caractéristiques des lois usuelles ........................... 58
2.6.2.1 Lois discrètes .......................................... 58
1.6.2.1 Lois continues .......................................... 58
1.6.3 Fonctions génératrices ........................................... 60
2.7 Convergences des suites de variables alêatoÎres ............................ 60
2.7.1 Les différents types de convergence ................................. 60
2.7.1.1 La convergence en probabilité .............................. 60
2.7.1.2 La convergence presque sûre ou convergence forte .............. 61
2.7.1.3 La convergence en moyenne d'ordre p ....................... 61
2.7.1.4 La convergence en loi .................................... 62
2.7.2 Convergence en loi de la binomiale vers la loi
de Laplace-Gauss (théorème de De Moivre-Laplace) .................... 62
2.7.3 Convergence de la loi de Poisson vers la loi de Gauss. . ................ 64
2.7.4 Le théorème central-limite ........................................ 65
Ch 3 : Couples de variables aléatoires, conditionnement. ...................... 69
3.1 Étude d'un couple de variables discrètes ................................. 69
3.1.1 Lois associées à un couple (X, Y) ................................... 69
3.1. LI Loi jointe ............................................. 69
3.1.1.2 Lois marginales ......................................... 69
3.1.1.3 LoÎs conditionnelles .. . ................................. 70
3.1.2 Covariance et corrélation linéaire ................................... 71
3.1.3 Moments conditionnels .......................................... 71
3.1.3.1 L'espérance conditionnelle . . . . . . . . . . .. ................. . 71
3.1.3.2 La variance conditionnelle ................................. 73
3.1.3.3 Exemple d'utilisation de l'espérance
et de la variance conditionnelle ............................. 74
x ..T able des matières
3. [.4 EXlension au conditionnement d'une variable continue Y
par une variable discrète X ........................................ 76
3.1.5 Somme d'un nombre aléatoire de variables iid ......................... 76
3.2 Extension à des variables lluelconques .................................. 77
3.2.1 Lois conjointes et lois marginales d'un couple
de variables aléatoires réelles ...................................... 77
3.2.2 Conditionnement ............................................... 77
3.2.2.1 Présentation naïve ....................................... 77
3.2.2.2 Aperçus théoriques. . . . . . . . . . . . . . . . . . . . . . .. . ............ 78
3.2.2.3 Ce qu'il faut retenir. ..................................... 79
3.3 Synthèse géométrique ................................................ 80
3.3.1 Espace de Hilbert des classes de variables aléatoires de carré intégrables ..... 80
3.3.2 Espérance conditionnelle et projection. . . . . . .. . ..................... 81
3.33 Rapport de corrélation de Yen X ..............................•.... 82
Ch 4 : Vecteurs aléatoires, formes quadratiques et lois associées ................ 85
4.1 Généralités sur les vecteurs aléatoires réels ............................... 85
4.1.1 Fonction de répartition et densité ................................... 85
4. L 1.1 Fonction de répartition ................................... 85
4.1.1.2 Densité ............................................... 85
4.1.1.3 Changement de variables dans une densité .................... 85
4.1.2 Fonction caractéristique .......................................... 86
4.1.3 Espérunce et matrice de variance-covariance .......................... 87
4.1.4 Transformations linéaires ......................................... 88
4.2 Vecteurs aléatoires gaussiens: la loi multinormale ......................... 89
4.2.1 Déiinitîons et fonction caractéristique ............................... 89
4.2.2 Densité de la loi normale à p dimensions ............................. 90
4.2.3 Cas particulier de la loi normale 1'1 deux dimensions ..................... 90
4.2.4 Lois conditionnelles (sans démonstration) ............................ 92
4.2.5 Théorème central-limite multidimensionnel ........................... 92
4.3 Formes quadratiques définies sur un vecteur gaussien
et lois dérivées. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .................... 93
4.3.1 Lois du X2 (khi-deux) ........................................... 93
4.3.2 Formes quadratiques ............................................ 94
4.3.3 Lois du F de Fisher-Snedecor ..................................... 97
4.3.4 LoÎ de Student. ................................................ 98
4.4 La loi multinomiale, introduction au test du X2 •••••••••••••••••••••••••••• 99
4.4.1 Le schéma de l'urne il k ................................. 99
4.4.2 Espérance et matrice de variance .................................. 101
4.4.3 Lois limite lorsque Tl .........)0 0::; ••••••••••••••••••••••••••••••••••••••• 101
4.5 Lois de Wishart, de Hotelling, de 'Vilks ................................. 103
4.5.1 Loi de Wisbart ................................................ 103
4.5.2 La loi du T2 de HoteLling. . . . . . . . . . . . . . . . . . . . . . . .. . ............. 104
4.5.3 La loi du lambda (A) de Wilks. . . ............................... 105
.Table des matières xi
Deuxième partie: Statistique exploratoire
1 1
Ch 5 : Description unidimensionnelle de données numériques ................. 109
5.1 Tableaux statistiques ................................................ 109
5.1.1 Variables discrètes ou qualitatives. . . . . . . . . . .. . ................... 109
5.1.2 Variables continues ou assimilées ................................. 110
5.2 Représentations graphiques .......................................... 112
5.2.1 Barres el camemberts .......................................... 1 12
5.2.2 Histogrammes ................................................ 114
5.2.3 Boîte Ù moustaches ou box-plot ................................... 115
5.2.4 Courbe de concentration ........................................ 116
5.2.4.1 Propriétés mathématiques.. .................... . ....... 117
5.2.4.2 Indice de concentration ou indice de Gîni .. .......... . ..... 117
5.3 Résumé; numériques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . ... 119
5.3.1 Caractéristiques de tendance centrale ..................... , ........ 120
5.3.1.1 La médiane ........................................... 120
5.3.1.2 La moyenne arithmétique ................................ 120
5.3.1.3 Le mode ............................................. l21
5.3.2 Caractéristiques de dispersion .................................... 121
5.3.2.1 L'étendue ou intervalle de variation ......................... 121
5.3.2.2 L'intervalle interquartile ................................. 121
5.3.2.3 La variance et l'écart-type ................................ 121
5.3.3 Cohérence entre tendance centrale et dispersion. . .................... 122
5.3.4 Caractéristiques de forme ....................................... 123
Ch 6 : Description bidimensionnelle et mesures de liaison entre variables ........ 125
6.1 Liaison entre deux variables numériques ............................... 125
6.1.1 Êtude graphique de la corrélation .................................. i25
6.1.2 Le coefiïcîent de corrélation linéaire ............................... 126
6.1.2.1 Définition ............................................ 126
6.1.2.2 Du bon usage du coefficient r . . . . . . . . . . . . . . . . . . . . .. . ..... 127
6.l.2.3 Matrice de corrélation entre p variables ...................... 128
6.L3 Caractère significatif d'un coefficient de corrélation ................... 131
6.1.4 Corrélation partielle. . .. . ...................................... 132
6.1.4.1 Le modèle nonnal à p dimensions .......................... 133
6.1.4.2 Corrélation entre résidus ................................. 133
6.1.4.3 Signification d'un coefticicnt de corrélation partielle. . .. . ...... 134
6.2 Corrélation multiple entre une variable numérique et p autres
variables numériques . . . . . . . . .. .......... .................... . .. 134
6.2.1 Détinition ................................................... 134
6.2.2 Interprétution géométrique ....................................... 135
6.2.3 Calcul de R . . . . . . . . . . . .. . ................................... 135
6.2.4 Signification d'un coefficient de corrélation multiple ................... 136