En théorie des opérateurs, le « problème du sous-espace invariant » est un problème ouvert qui résiste à la communauté mathématique depuis plus d’un demi-siècle. De nombreux résultats ont vu le jour dans des tentatives de l'attaquer grâce à des outils et des stratégies très variés.

Le problème du sous-espace invariant pour un espace de Banach complexe $X$ consiste à savoir si chaque opérateur linéaire borné (continu) $T : X \to X$ possède un sous-espace invariant fermé non trivial (un sous-espace linéaire fermé $M$ de $X$ qui est différent à la fois de $\{O\}$ et de $X$ de telle sorte que $T(M)\subseteq M$).

Posé dans toute sa généralité, le problème a une réponse négative et des contre-exemples existent. Mais si l'on restreint la question à des classes d'espaces très importantes en mathématiques (par exemple des espaces de Hilbert complexes de dimension infinie et séparables), le problème résiste encore et toujours...

L’exposé reviendra sur un certain nombre d’approches importantes et évoquera quelques pistes qui semblent les plus prometteuses à l’heure actuelle.