Analyzing and Introducing Structures in Deep Neural Networks

129 Pages·2017·6.67 MB·English

by  Edouard Oyallon

THÈSE DE DOCTORAT

de l’Université de recherche Paris Sciences et Lettres 
PSL Research University

Préparée à l’Ecole Normale Supérieure

Analyzing and Introducing Structures in Deep Convolutional Neural
Networks

Ecole doctorale n°386
SCIENCES MATHEMATIQUES DE PARIS CENTRE

Spécialité INFORMATIQUE

COMPOSITION DU JURY :

M. PARAGIOS Nikos
CentraleSupélec, Rapporteur 

M. PERRONIN Florent
Naver Labs, Rapporteur 

M. CORD Matthieu
Soutenue par EdouardOyallon
LIP6 / UPMC, Président du jury
le 6 Octobre 2017
M. LAPTEV Ivan
h
INRIA / ENS, Membre du jury

M. PEREZ Patrick
Technicolor, Membre du jury
Dirigée par Stéphane Mallat

h
Analyzing and Introducing Structures in Deep
Convolutional Neural Networks
Edouard Oyallon

Résumé
Cette thèse étudie des propriétés empiriques des réseaux de neurones con-
volutionnels profonds, et en particulier de la transformée en Scattering. En
effet, l’analyse théorique de ces derniers est difficile et représente jusqu’à ce
jour un défi: les couches successives de neurones ont la capacité de réaliser des
opérations complexes, dont la nature est encore inconnue, via des algorithmes
d’apprentissages dont les garanties de convergences ne sont pas bien comprises.
Pourtant, ces réseaux de neurones sont de formidables outils pour s’attaquer
à une grande variété de tâches dffiiciles telles la classification d’images, ou
plus simplement effectuer des prédictions. La transformée de Scattering est
un opérateur mathématique, non-linéaire dont les spécifications sont inspirées
par les réseaux convolutionnels. Dans ce travail, elle est appliquée sur des
images naturelles et obtient des résultats compétitifs avec les architectures
non-supervisées. En placant un réseaux de neurones convolutifs supervisés
à la suite du Scattering, on obtient des performances compétitives sur Ima-
geNet2012, qui est le plus grand jeu de données d’images étiquetées accessible
aux chercheurs. Cela nécessite d’implémenter un algorithme efficace sur carte
graphique. Dans un second temps, cette thèse s’intéresse aux propriétés des
couchesàdifférentesprofondeurs. Onmontrequ’unphénomènederéductionde
dimensionalitéprogressifalieuetons’intéresseauxpropriétésdeclassifications
supervisées lorsqu’on varie des hyper paramètres de ces réseaux. Finalement,
onintroduitunenouvelleclassederéseauxconvolutifs, dontlesopérateurssont
structurés par des groupes de symétries du problème de classification.

Abstract
This thesis studies empirical properties of deep convolutional neural net-
works,andinparticulartheScatteringTransform. Indeed,thetheoreticalanal-
ysis of the latter is hard and until now remains a challenge: successive layers
of neurons have the ability to produce complex computations, whose nature is
still unknown, thanks to learning algorithms whose convergence guarantees are
not well understood. However, those neural networks are outstanding tools to
tackle awide varietyof difficulttasks, likeimage classification ormore formally
statistical prediction. The Scattering Transform is a non-linear mathematical
operatorwhosepropertiesareinspiredbyconvolutionalnetworks. Inthiswork,
we apply it to natural images, and obtain competitive accuracies with unsuper-
visedarchitectures. CascadingasupervisedneuralnetworksaftertheScattering
permits to compete on ImageNet2012, which is the largest dataset of labeled
imagesavailable. AnefficientGPUimplementationisprovided. Then,thisthe-
sis focuses on the properties of layers of neurons at various depths. We show
that a progressive dimensionality reduction occurs and we study the numerical
propertiesofthesupervisedclassificationwhenwevarythehyperparametersof
thenetwork. Finally,weintroduceanewclassofconvolutionalnetworks,whose
linearoperatorsarestructuredbythesymmetrygroupsoftheclassificationtask.

Acknowledgement
This work is supported by the ERC InvariantClass grant 320959.

Remerciements
Tout d’abord merci à Stéphane pour m’avoir beaucoup appris et consacré
beaucoup de temps. J’ai passé d’intenses moments de réflexions, et ton regard
sur tous les sujets que nous avons étudiés est exceptionnellement profond, et
m’inspirera longtemps.
Je tiens à remercier tous les brillants (actuels, anciens) membres de l’équipe
deStéphaneavecquij’aipuparfoisdiscuté,commeVincent,Joakim,Joan,Lau-
rent, Irène, Tomàs, Matthew, Guy, Tomàs, Louis, John, Sira, Carmine, Sixhin,
Gilles, Alberto, Ravi, Ivan, Michaël, Mathieu. Je vous souhaite le meilleur par-
cours possible. Merci à Damien, Bogdan, Gabriel, Frederick, Maxime, Sergey,
Jörnpourlescollaborations! EnfinmerciàJoëlle,Lise-Marie,ValérieetSophie,
ainsi que le SPI qui sont d’une efficacité redoutable.
PuisderemerciermescamaradesdeRennes,avecquij’aipassédebonsmo-
ments en licence. Puis les amis parisiens. Comme Pauline, Jonathan, Thomas,
Gisela, Agnès, Adrien. Merci aux slovaques. (Michal^2 & Anna) Merci à vous
d’être des personnes formidables.
Je tiens à remercier aussi chaleureusement Maxime & Daria (les meilleurs
voisins), Paul-Darius, Rafael, Grégoire & Misko, Fred, Eugene, Mikael, Bour-
reau pour avoir contribué très négativement à l’écriture de ce manuscrit.
Je sais que j’en oublie, et je m’excuse :-)
Merci à ma famille (ma sœur, cousines, cousins, tantes, oncles, mes grand-
parents, mes parents) pour son soutien, qui est très important pour moi, et de
ne pas avoir trop râlé pendant ces 4 ans de ne pas trop me voir.
Et puis merci à toi, Hélène.