Sélection de modèles ou d'estimateurs: une introduction

Résumé:
Pour analyser un même jeu de données, on dispose presque toujours de plusieurs estimateurs (et souvent d'un très grand nombre) parmi lesquels il faut en sélectionner un (le meilleur possible, selon l'objectif que l'on s'est fixé). Lorsque chacun de ces estimateurs correspond à une manière différente de modéliser les données, on parle de sélection de modèles. 
Cet exposé expliquera les idées principales qui se cachent derrière la plupart des méthodes de sélection de modèles/estimateurs dont l'objectif est de minimiser le risque de l'estimateur sélectionné, ainsi que leurs justifications théoriques (inégalités-oracle). On se focalisera d'abord sur un problème précis (la régression sur un plan d'expérience déterministe, avec le risque des moindres carrés) et l'approche par pénalisation du risque empirique, avant d'expliquer comment faire dans un cadre beaucoup plus général. 

Références: hal-01485506 (section 3.9) et arXiv:1901.07277 (section 2)