FR:

Heuristiques et résultats concernant l'initialisation et l'optimisation
des réseaux de neurones

Pour une tâche d'apprentissage automatique donnée, il n'existe aucun
résultat théorique général permettant de trouver l'architecture de
réseau de neurones optimale, ainsi que son initialisation et son
algorithme d'apprentissage optimaux. Pour combler ce manque, plusieurs
voies sont explorées : mesure empirique des propriétés d'un réseau de
neurones, mise en place d'heuristiques, et obtention de résultats
théoriques dans un cadre très restreint. Cet exposé présentera quelques
travaux illustrant des problèmes pratiques rencontrés dans le domaine
des réseaux de neurones, ainsi que des résultats permettant d'en
comprendre l'origine et d'y remédier : heuristiques d'initialisation
(Xavier/Kaiming, Edge of Chaos), étude des réseaux avec un nombre infini
de neurones par couche (Neural Tangent Kernels), étude des techniques
d'optimisation du second ordre (structure de la hessienne de la perte,
technique de preuve).

EN:

Neural network initialization and optimization heuristics and results

For a given machine learning task, there are no general theoretical
results for finding the optimal neural network architecture,
initialization and learning algorithm. To fill this gap, several avenues
are being explored: empirical measurement of neural network properties,
implementation of heuristics, and obtaining theoretical results within a
very restricted framework. This talk will present a number of works
illustrating practical problems encountered in the field of neural
networks, as well as results enabling us to understand their origin and
remedy them: initialization heuristics (Xavier/Kaiming, Edge of Chaos),
study of networks with an infinite number of neurons per layer (Neural
Tangent Kernels), study of second-order optimization techniques
(structure of the Hessian of the loss, proof technique).