Table Of ContentMassih-Reza AMINI
Préface de Francis Bach
prentiss~ye
machine
de la théorie à la pratique
Concepts fonda mentaux
en Machine Leaming
EYROLLES
.. _rentissaye machine
_ "'de la théorie à la pratique
1
, '• ! j .>~
Apprentissage machine et intelligence artificielle
L'apprentissage machine est l'un des domaines phares de l'in
telligence artificielle. Il concerne l'étude et le développement de
modèles quantitatifs permettant à un ordinateur d'accomplir des
tâches sans qu'il soit explicitement programmé à les faire. Appren
dre dans ce contexte revient à reconnaître des formes complexes
et à prendre des décisions intelligentes. Compte tenu de toutes les
entrees existantes, la complexité pour y arriver réside dans le fait
que l'ensemble des décisions possibles est généralement très diffi
cile à énumérer. Les algorithmes en apprentissage machine ont par
MIUlllt-Rutt Aminl conséquent été conçus dans le but d'acquérir de la connaissance
pra{1ss111r sur le problème à traiter en se basant sur un ensemble de donnm
d'fn formtttfq 11e à limi•ées issues de ce problème.
l'11nf11mfté /. Fo11rier
(Gnnoble 1), est tit11lttire Un ouvrage de référence
d'11n11 thise s11r l'étude
Cet ouvrage présente les fondements scientifiques de la théorie de
de no1111111t11x cttdres et
l'apprentissage supervisé, les algorithmes les plus répandus déve
modiles d'ttpprmtlssttge
loppés suivant ce domaine ainsi que les deux cadres de l'appren
st11tfstfq11es p011r les
tissage semi-supervisé et de l'ordonnancement, à un niveau acces
nou11elles ttpplfctttfons
sible aux étudiants de master et aux élèves ingénieurs. Nous avons
émergentes fss11es
eu ici le souci de foumir un exposé cohérent reliant la théorie aux
d'Internet. li est co
algorithmes développés dans cette sphère. Mais cette étude ne se li
ttuteur de dlzttfnes
mite pas à présenter ces fondements, vous trouvern ainsi quelques
d'ttrtfcles scfentlftq11es
programmes des algorithmes classiques proposés dans ce manu.s
p11r11s pttrmf les re1111es
les pl11s prestfgfe11ses crit, écrits en langage C (la~age à la fois simple et populaire), et
à destination des lecteurs qui cherchent à connaître le fonctionne
des domttfnes de
ment de ces modèles désignés parfois comme des boites noires.
l'1tppnntlssttg11
1111tomtttfq1111 1t dt1 ltt
À qui s'adresse ce livre?
nch11rcht1 d'lnformtttfon.
Il 1st ig11l1m1nt co- • Au.x élèves ingénieurs, étudiants de master
1111tf11r, """ lric et doctorants en mathématiques appliquées,
GttllSSffT, d• Recherche algorithmique, recherche opérationnelle,
d'information p11blfi gestion de production, aide à la décision.
llllX idftlons EyrolffS.
• Au.x ingénieurs, enseignants-chercheurs,
informaticiens, industriels, économistes et décideurs
ayant à résoudre des problèmes de classification, de ..
partitionnement et d'ordonnancement à large
échelle.
39 €
EYROLLES www.editions·eyrolles.com
Groupe Eyrolles 1 Diffusion Geodif
Apprentissa!e
machine
de la théorie à la pratique
P. S!ARRY. et al. - MélaheurisUques.
Recu1t s;m.ulé, recherche avec tabous, recherche à vo;sinages variables, méthode GRASP, algorithmes
évolutionnaires,foum11s artifidel/es, essa.;ms particulafres et autres méthodes d'optimisation.
N° 13929, 2014, 516 pages.
M.-R. AMINI, E. GAUSSŒR. - Reeherehe d'information.
Applications, modèles et algorithmes- F0 11.il/e tk données, décisionnel et big data.
N° 13532, 2013, 256 pages.
C. PRJNs, M. SsvAux. - Programmation linéaire a"ee Excel
55 problèmes d'o ptim.isation modélisés pas à pas et résolus avec Excel.
N° 12659, 20l i, 388 pages.
A. CoRNUJ!Jots, L. MICLBT. - Apprentissage artllklel.
Concepts et algorithmes.
N° 12471, 2' édition, 20J O, 804 pages.
G. DREYFUS et al. - Apprentissage statistique.
Réseaux de neurones- Cartes topologiques - Mach1nes à vecteurs supports.
N° 12229, 2008, 450 pages.
P. NAD>!, P.-H. WUJLLlMJN, P. LERAY, o. PouruœT, A. BECKER. - Réseaux bayésiens.
N° ll 972, 3' édition, 2007, 424 pages.
G. F'U!uRY, P. i...AOOMMBCl A. TANGUY. -Sbnulatlonà é\'énements discrets.
Modèles détemûnistes et stochastiques- Exemples d'appUca.ti011s impléme1ués en De/phi et en C++.
N° ll 924, 2006, 444 pages avec CD-Rom.
J. RlCHAJ..BT et al. - La commande prédicth·e.
Mise en œuvre et applications industriel/es.
N° ll553, 2004, 256 pages.
P. LACoM" "· C. PR1N S, M. S1ovAux - Algorithmes de graphes.
N°ll385, 2003, 368 pages, avec CD-Rom.
Y. CoLL.EITB, P. S!ARRY-Optbnlsalion multlobjeetlf.
N° 11168, 2002, 316 pages (disp-Onible en édition nwnérique uniquement).
Apprentissa!e
machine
de la théorie àl a pratique
Massih·Reza AMINI
Préface de Francis Bach
ÉDITIONS EYROLLES
61, bd Saint-Germain
75240 Paris Cedex 05
www.editions.-eyrolles.com
DANGER Le code de la propriété intellectuelle du 1" juillet 1992 interdit en effet expressément la photocopie à
®
usage collectif sans autorisation des ayants droit. Or, cette pratique s'est généralisée notamment dans les
~MM• "E établissements d'enseignement, provoquant une baisse brutale des achats de livres, au point que la possibilité
"'""'"""''"" même pour les auteurs de créer des œuvres nouvelles et de les faire éditer correctement est aujourd'hui
TllHHWRE menacée.
En application de la loi du 11 mars 1957, il est interdit de reproduire intégralement ou partiellement le pr~ent ouvrage,
sur quelque support que ce soit, sans l'autorisation de !'Éditeur ou du Centre Français d'exploitation du droit de copie,
20, rue des Grands Augustins, 75006 Paris.
©Groupe Eyrolles, 2015, ISBN: 97&-2-212-13800-9
Préface
Depuis quelques années, dans les domaines scienciJiques, industriels et person
nels, la presence de données numériques et leur utilisation ont explosé. Certaines
de ces données sont massives, nécessitent des outils et architectures spécifiques,
comme en astronomie ou pour les moteurs de recherche, et constituent les pro
blèmes dits de "big data".
D'autres données ne sont pas si massives, comme les photos ou vidéos familiales,
mais constituent toujours un défi algorithmique. Le grand changement récent
est non seulement la taille, mais aussi le côté omniprésent de ces données, qui
sont utilisées quotidiennement.
Depuis une vingtaine d'années, l'apprentissage statistique ("machine learning"
en anglais) s'est considérablement développé, à l'interface entre l'informatique et
les statistiques, et constitue le cœur méthodologique des algorithmes modernes
de traitement de données. Même si les recherches en apprentissage sont toujours
en plein essor, un socle méthodologique et algorithmique a émergé.
Ce livre constitue une introduction équilibrée aux concepts et outils les plus
importants de l'apprentissage supervisé et de ses extensions. Un accent remar
quable est mis sur des résultats théoriques élégants, simples mais puissants, des
algorithmes efficaces qui ont montré leurs preuves en pratique, et des codes per
mettant de reproduire les expériences.
Francis Bach
octobre 2014
Table des matières
Table des figures .. .. ... .. .. .. .. ... .. .. .. .. ... .. .. .. .. .. ... .. .. .. .. ... .. .. .. .. ... .. .. xi
Liste des algorithmes ............................................................... xvi
Notations .............................................................................. xvii
Avant-propos ........................................................................
Concepts étudiés . . 1
Organisation du livre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
CHAPITRE I
Introduction à la théorie de l'apprentissage .. .. ... .. .. .. .. ... .. .. .. .. ... .. .. 5
1.1 Minimisation du Risque Empirique . 7
1.1.1 Hypothèse et définitions . . . 7
1.1.2 Énoncé du principe . . . . . . . . 9
1.2 Consistance du principe MRE . . . 9
1.2.1 Estimation de ferreur de généralisation sur un ensemble de test 12
1.2.2 Borne uniforme sur l'erreur de généralisation . . . . . . . . . 13
1.2.3 Minimisation du risque strucrurd . . . . . . . . . . . . . . 23
1.3 Borne sur terreur de généralisation dépendante des données . 25
1.3.1 Complexité de Rademacher . . . . . . . . . . . . . . . . . 25
1.3.2 Lien entre la complexité de Rademacher et la dimension VC . . 26
1.3.3 Différentes étapes dbbtention d'une borne de généralisation avec la com-
plexité de Rademacher . . . . . . . . . . 29
1.3.4 Propriétés dela complexité de Rademacher . . . . . . • . . • . . • . . . 34
