Hosmer and Lemeshow Test

161 Pages·2005·1.13 MB·French

Mod´elisation et apprentissage statistique
Gilbert Ritschard
D´epartement d’´econom´etrie, Universit´e de Gen`eve
http://mephisto.unige.ch
mars 2005
Intro plan not mstat appr arbr comm J I N H MAS 9/3/2005gr 1
Mod´elisation et apprentissage statistiques
1 Introduction
2 Cadre formel et notations
3 Mod´elisation statistique
4 Apprentissage supervis´e
5 Points communs et diff´erences entre mod´elisation et apprentissage
Intro plan not mstat appr arbr comm J I N H MAS 9/3/2005gr 2
1 Introduction
Objectif : passer en revue les crit`eres d’´evaluation utilis´es
– en mod´elisation statistique
– en apprentissage supervis´e
Quels sont les points communs et les diff´erences entre mod´elisation
statistique et apprentissage supervis´e ?
Intro plan not mstat appr arbr comm J I N H MAS 9/3/2005gr 3
Mod´elisation statistique
Formuler et quantifier un mod`ele (sch´ema) explicatif d’un ph´enom`ene. Par
exemple :
recherche, parmi des facteurs potentiels, des d´eterminants d’une variable
r´eponse (r´eussite des ´etudiants, divorce, succ`es commercial, ...) et
quantification des liens.
But :
– Compr´ehension du ph´enom`ene
– Parfois pr´evision
Intro plan not mstat appr arbr comm J I N H MAS 9/3/2005gr 4
Apprentissage supervis´e
Apprendre `a pr´edire l’´etat d’une variable r´eponse `a partir du profil en terme
de pr´edicteurs. Par exemple :
– pr´evoir le volume des ventes, le nombre de chˆomeur, ...
– classer des malades selon le type d’affection en ne connaissant que certains
symptˆomes, pr´edire la solvabilit´e de demandeurs de cr´edits, ...
But :
– Construire des r`egles pr´edictives (pr´evision ou classification) performantes
en g´en´eralisation, c’est-`a-dire en dehors de l’´echantillon d’apprentissage.
Intro plan not mstat appr arbr comm J I N H MAS 9/3/2005gr 5
Certains mod`eles statistiques (r´egression, r´egression logistique, ...) sont
utilis´es dans un contexte d’apprentissage.
(cid:1) (cid:2) (cid:2) (cid:3) (cid:4) (cid:5) (cid:6) (cid:7) (cid:8) (cid:8) (cid:9) (cid:10) (cid:4)
(cid:14) (cid:15) (cid:16) (cid:13) (cid:17) (cid:7) (cid:8) (cid:9) (cid:6) (cid:7) (cid:15) (cid:5)
(cid:8) (cid:11) (cid:2) (cid:4) (cid:3) (cid:12) (cid:7) (cid:8) (cid:13)
(cid:8) (cid:6) (cid:9) (cid:6) (cid:7) (cid:8) (cid:6) (cid:7) (cid:18) (cid:11) (cid:4)
Intro plan not mstat appr arbr comm J I N H MAS 9/3/2005gr 6
2 Cadre formel et notations
Echantillon d’apprentissage :
n nombre de cas (instance, exemple, ...)
p nombre d’attributs pr´edictifs
x j-`eme attribut pr´edictif (facteur explicatif), j = 1, . . . , p
j
x valeur du i-`eme attribut pour le cas α = 1, . . . , n
αj
Y variable r´eponse (`a pr´edire, d´ependante) : variable al´eatoire
y r´ealisation de Y pour le cas α
α
On utilise le gras pour les vecteurs et les matrices :
 
x · · · x
11 1p
h i  . . . 
x0 = x · · · x X =  .. .. .. 
1 p  
 
x · · · x
n1 np
Notations plan not mstat appr arbr comm J I N H MAS 9/3/2005gr 7
Qu’il s’agisse d’expliquer un ph´enom`ene ou de formuler des r`egles de
pr´ediction,
0n cherche `a exprimer y en fonction des pr´edicteurs par une fonction
yˆ = f(x)
o`u yˆ repr´esente la pr´ediction donn´ee par le mod`ele f(x).
Exemples d’interpr´etation de f(x)
Y num´erique (r´egression) ⇒ f(x) = E(Y |x)
Y cat´egoriel (classification) ⇒ f(x) = arg max {p(Y |x)}
i i
P
En r´egression lin´eaire o`u Y est num´erique, on postule, f(x) = β x .
j j
j
En classification, f(x) est le classifieur.
Notations plan not mstat appr arbr comm J I N H MAS 9/3/2005gr 8
3 Mod´elisation statistique
3.1 Typologie de mod`eles statistiques
3.1.1 R´egression lin´eaire
3.1.2 R´egression logistique
3.1.3 Mod`eles log-lin´eaires
3.1.4 Mod`eles d’´equations structurelles
3.2 Estimation des param`etres (ajustement du mod`ele)
3.2.1 Moindres carr´es
3.2.2 Maximum de vraisemblance
3.3 Evaluation d’un mod`ele
3.3.1 Qualit´e globale d’ajustement
3.3.2 Test de diff´erence entre deux mod`eles
3.3.3 Analyse des r´esidus
Mod`eles statistiques plan not mstat appr arbr comm J I N H MAS 9/3/2005gr 9
3.1 Typologie de mod`eles statistiques
Mod`ele statistique param´etrique : caract´eriser la distribution d’une variable
(hypoth`ese sur la forme et estimation des param`etres).
Ici, on s’int´eresse aux mod`eles o`u un ou plusieurs param`etres de la
distribution sont exprim´es en fonction des pr´edicteurs.
(par exemple en r´egression, on postule la normalit´e de Y , et l’on exprime E(Y )
en fonction des pr´edicteurs.)
Typologie selon ce que l’on cherche `a ajuster (reproduire)
– les valeurs particuli`eres de y (R´egression lin´eaire)
α
– soit une repr´esentation synth´etique des donn´ees
– distribution de Y conditionnellement au profil x (R´egression logistique)
– la distribution conjointes de toutes les variables (Mod`eles log-lin´eaires)
– corr´elations entre (plusieurs) y et les diff´erents pr´edicteurs (Mod`eles
d’´equations structurelles)
Mod`eles statistiques plan not mstat appr arbr comm J I N H MAS 9/3/2005gr 10