Automorphismes analytiques de l’ouvert d’échappement de l’application de Hénon Thierry Bousch, avril 1994

Résumé. Soit H = H_{a,c} une application de Hénon complexe, et soit Ω^{+} l’ouvert de ℂ^{2} constitué des points dont les itérées positives tendent vers l’infini. Nous nous proposons de calculer le groupe Aut(Ω^{+}) des automorphismes analytiques de cette variété complexe, et en particulier le centralisateur (dans ce groupe) de l’application de Hénon.

0. Notations

Pour tout couple (a, c) ∈ ℂ^{∗} × ℂ, on notera H = H_{a,c} l’application de Hénon complexe

\begin{aligned}H_{a,c} : & ℂ^{2} & ⟶ & ℂ^{2} \\ & \left[{x \atop y}\right] & ⟼ & \left[{x^{2} + c − ay \atop x}\right] \end{aligned}

On définit les ensembles invariants suivants :

\begin{aligned}K^{±} & = \{\left[{x \atop y}\right] ∈ ℂ^{2} : H^{n}\left[{x \atop y}\right] ↛ ∞ quand n → ±∞\} , \\ Ω^{±} & = ℂ^{2} − K^{±}. \end{aligned}

Les ensembles Ω^{+} et Ω^{−} sont ouverts. Comme l’inverse d’une application de Hénon est une autre application de Hénon, on se bornera à étudier les automorphismes de Ω^{+}.

1. Structure de Ω^{+}

Nous admettrons le résultat suivant :

Théorème (Hubbard). Il existe un revêtement holomorphe G : (ℂ − \overline{D}) × ℂ ↦ Ω^{+} à fibres dénombrables, tel que :

(a) Si ω : (ℂ − \overline{D}) × ℂ → (ℂ − \overline{D}) × ℂ est l’application définie par ω(u, v) = (u^{2}, \frac{a}{2}(v + u^{3} − \frac{c}{2}u)), alors le diagramme suivant est commutatif :

(ℂ − \overline{D}) × ℂ ⟶^{ω} (ℂ − \overline{D}) × ℂ
↓^{G}  ↓^{G}
Ω^{+}  ⟶^{H_{a,c}}  Ω^{+}

(b) On a G(u, v) = G(u′, v′) si et seulement s’il existe n ∈ ℕ tel que

ω^{n}(u, v) = ω^{n}(u′, v′)

(c) Le jacobien (complexe) de G en (u, v) vaut 2/u ;

(d) L’application G est de la forme \left[{g∘ω \atop g}\right], où g est une fonction holomorphe sur (ℂ−\overline{D})×ℂ dont le développement asymptotique (pour u → ∞ et |v| ≤ |u|^{2}) est de la forme

\begin{aligned}g(u, v) & = u − \frac{c}{2}u^{−1} + (\frac{a}{4} + v)u^{−2} − \frac{c}{2}u^{−3} \\ & − \frac{c}{4a}(a^{2} − c + 2)u^{−4} + \frac{1}{4}(2a(w + 1) + c^{2})u^{−5} + ⋯ \end{aligned}

La condition (b) peut être explicitée comme suit : on aura G(u, v) = G(u′, v′) si et seulement si

(b1) Il existe des entiers n et p tels que u′ = u.e^{2iπp/2^{n}};

(b2) On a

v′ − v = Δ(u, u′) = ∑_{ℓ=0}^{∞}(\frac{a}{2})^{−ℓ} (\{u^{3.2^{ℓ}} − \frac{c}{2}u^{2^{ℓ}}\} − \{u′^{3.2^{ℓ}} − \frac{c}{2}u′^{2^{ℓ}}\})

Les fibres de G sont donc isomorphes à ℤ [\frac{1}{2}]/ℤ ; et comme le groupe fondamental de (ℂ − \overline{D}) × ℂ est ℤ, on en déduit que le groupe fondamental de Ω^{+} est ℤ [\frac{1}{2}]. Plus précisément, soit γ un lacet de Ω^{+} ; ce lacet se relève dans (ℂ − \overline{D}) × ℂ en un chemin Γ joignant un point (u, v) à un point (u′, v′) dans la même fibre par G. L’élément de ℤ [\frac{1}{2}] défini par ω est alors la détermination de \frac{1}{2π} arg(u′/u) prise le long de Γ.

Nous identifierons désormais π_{1}(Ω^{+}) à ℤ [\frac{1}{2}] par l’isomorphisme ci-dessus. En particulier, l’élément “1” est celui obtenu, par exemple, par projection du lacet de (ℂ − \overline{D}) × ℂ défini par

\begin{aligned}ℓ : & [0, 1] & ⟶ & (ℂ − \overline{D}) × ℂ \\ & t & ⟼ & (2e^{2iπt}, 0) \end{aligned}

2. Action sur le groupe fondamental

Tout automorphisme a de Ω^{+} induit un automorphisme π_{1}(a) du groupe fondamental π_{1}(Ω^{+}) = ℤ [\frac{1}{2}], de la forme

\begin{aligned}π_{1}(a) : & ℤ [\frac{1}{2}] & ⟶ & ℤ [\frac{1}{2}] \\ & x & ⟼ & mx \end{aligned}

où m est un élément inversible de ℤ [\frac{1}{2}], donc

m = ±2^{s}, s ∈ ℤ.

En particulier, pour l’application de Hénon, on a π_{1}(H) = +2. Donc, quitte à composer a par une certaine itérée de l’application de Hénon, on pourra supposer que π_{1}(a) = ±1.

Dans ce cas, a se relève en un automorphisme A de (ℂ − \overline{D}) × ℂ faisant commuter le diagramme suivant :

(ℂ − \overline{D}) × ℂ ⟶^{A} (ℂ − \overline{D}) × ℂ
↓^{G}  ↓^{G}
Ω^{+}  ⟶^{a}  Ω^{+}

Ce relèvement n’est pas unique ; les autres s’obtiennent en composant A par un automorphisme quelconque du fibré G.

3. Classification pour m = ±1

Ecrivons A sous la forme A(u, v) = (A_{1}(u, v), A_{2}(u, v)). Pour tout u ∈ ℂ−\overline{D}, l’application v ↦ A_{1}(u, v) est une application holomorphe de ℂ dans ℂ − \overline{D}, donc constante. Par conséquent, A_{1} ne dépend pas de v, et on peut écrire

A(u, v) = (h(u), A_{2}(u, v)),

où h est holomorphe. L’application réciproque admet, pour la même raison, une écriture analogue :

A^{−1}(u, v) = (h^{∗}(u, v), A_{2}^{∗}(u, v)),

et en composant les deux expressions, il vient

∀(u, v) ∈ (ℂ − \overline{D}) × ℂ (u, v) = (hh^{∗}(u), A_{2}(h^{∗}(u), A_{2}^{∗}(u, v))).

Comme h ∘ h^{∗} = Id_{ℂ−\overline{D}}, l’application h est un automorphisme de ℂ − \overline{D}, donc de la forme

h(u) = αu, |α| = 1.

En particulier, on constate que la situation m = −1 est impossible.

On constate de même que pour u fixé, les applications v ↦ A_{2}(h^{∗}(u), v) et v ↦ A_{2}^{∗}(u, v) sont deux applications de ℂ dans ℂ réciproques l’une de l’autre, donc des automorphismes analytiques de ℂ, donc des applications affines non constantes. On écrira

A_{2}(u, v) = β(u)v + γ(u),

la fonction β : ℂ − \overline{D} → ℂ ne prenant jamais la valeur zéro.

Ensuite, on doit écrire que A préserve les fibres de G, c’est-à-dire

\begin{aligned}G(u, v) = G(u′, v′) & ⟹ G[A(u, v)] = G[A(u′, v′)] \\ & ⟺ G[αu, A_{2}(u, v)] = G[αu′, A_{2}(u′, v′)] \end{aligned}

Affirmer que (u, v) et (u′, v′) sont dans la même fibre par G revient à dire que (u′/u)^{2^{n}} = 1 pour un certain entier n, et que v′ − v = Δ(u, u′). Dans ce cas, on aura automatiquement (αu′/αu)^{2^{n}} = 1, et il reste à voir si on a

A_{2}(u′, v′) − A_{2}(u, v) = Δ(αu, αu′).

Remplaçant A_{2} par l’expression trouvée plus haut, et v′ par v + Δ(u, u′), il vient

[β(u′) − β(u)] v + β(u′)Δ(u, u′) + γ(u) − γ(u′) = Δ(αu, αu′).

Cette égalité doit être vraie pour tout v ∈ ℂ, donc le coefficient de v doit être nul :

β(u) = β(u′)

pour tous u, u′ vérifiant les conditions fixées au départ, soit

∀u ∈ ℂ − \overline{D}, ∀n, p ∈ ℤ β(u) = β(u.e^{2iπp/2^{n}}).

Ceci impose que l’application β soit une constante (à cause du principe des zéros isolés) non nulle, que nous noterons simplement β. La condition sur A se réduit alors à

βΔ(u, u′) + γ(u) − γ(u′) = Δ(αu, αu′).

On remarque que, pour u fixé, la différence γ(u)−γ(u′) reste bornée (puisque u′ se déplace dans un compact, et que γ est holomorphe), alors que les termes en Δ peuvent devenir très grands. Plus précisément, si on prend

u′ = u.e^{2iπ/2^{n+1}}, n → +∞,

alors on a un équivalent

Δ(u, u′) ∼ 2(\frac{a}{2})^{n}u^{3.2^{n}}

et de même

Δ(αu, αu′) ∼ 2(\frac{a}{2})^{n}(αu)^{3.2^{n}},

ce qui après substitution et simplification, conduit à

β ∼ α^{3.2^{n}}, n → +∞.

Or, ceci n’est possible que si β = 1 et si α^{3.2^{n}} = 1 pour un certain entier n. L’argument de α est donc un nombre de la forme

arg α = \frac{k}{3} + \frac{p}{2^{n}} , k ∈ \{−1, 0, 1\}, p et n entiers

Quitte à choisir un autre relèvement A de a, on peut supposer que p = 0. Ceci ne laisse plus que trois possibilités pour α : les trois racines cubiques de l’unité.

Pour c ≠ 0, les termes suivants des développements asymptotiques de Δ(u, u′) et Δ(αu, αu′) diffèrent si α vaut j ou j^{2}, ce qui impose α = 1. En revanche, pour c = 0, on a

Δ(u, u′) = Δ(ju, ju′) = Δ(j^{2}u, j^{2}u′)

donc on ne peut pas écarter les solutions α = j et α = j^{2}.

Dans un cas comme dans l’autre, on a Δ(u, u′) = Δ(αu, αu′), si bien que l’équation sur γ se réduit à

γ(u) = γ(u′),

ce qui entraîne, comme on a vu plus haut, que γ est constante. En résumé :

Proposition. Soit N le sous-groupe de Aut(Ω^{+}) constitué des automorphismes dont l’action sur π_{1}(Ω^{+}) est l’identité. Tout élément de N admet un (unique) relèvement sur (ℂ − \overline{D}) × ℂ de la forme indiqué ci-dessous :

(i) pour c ≠ 0, de la forme (u, v) ↦ (u, v + γ), où γ est un nombre complexe quelconque ; (ii) pour c = 0, de la forme (u, v) ↦ (αu, v + γ), où γ est un nombre complexe quelconque et α une quelconque des racines cubiques de l’unité.

Corollaire. Le groupe N est isomorphe à ℂ pour c ≠ 0 (c’est un groupe à un paramètre complexe), et à un produit semi-direct ℂ ⋊ ℤ/3ℤ pour c = 0.

Plus précisément, notons (ϕ_{t})_{t∈ℂ} le groupe à un paramètre complexe des applications admettant un relèvement de la forme (u, v) ↦ (u, v + t) et — uniquement pour c = 0 — soit θ l’automorphisme se relevant en (u, v) ↦ (ju, v). Alors la structure de produit semi-direct est caractérisée par

θ ∘ ϕ_{t} ∘ θ^{−1} = ϕ_{jt}.

4. Structure de Aut(Ω^{+})

Comme on vient de le voir, le morphisme naturel π_{1} : Aut(Ω^{+}) → Aut(ℤ [\frac{1}{2}]) a pour image le sous-groupe des automorphimes “positifs” de ℤ [\frac{1}{2}], qui est isomorphe à ℤ, et son noyau est le groupe N décrit plus haut. Ce quotient admet un relèvement dans Aut(Ω^{+}), à savoir le groupe monogène ⟨H⟩ engendré par l’application de Hénon. Par conséquent, Aut(Ω^{+}) peut s’écrire comme un produit semi-direct

Aut(Ω^{+}) = N ⋊ ℤ

Comme H admet pour relèvement (u, v) ↦ (u^{2}, \frac{a}{2}(v + u^{3} − \frac{c}{2}u)), il est facile de voir qu’on a

H ∘ ϕ_{t} ∘ H^{−1} = ϕ_{(a/2)t}

et (uniquement pour c = 0),

H ∘ θ ∘ H^{−1} = θ^{−1}.

Ceci décrit entièrement le produit semi-direct.

Théorème. Pour c ≠ 0, le groupe des automorphismes analytiques de Ω^{+} est un produit semi-direct ℂ ⋊ ℤ d’un groupe à un paramètre complexe (ϕ_{t})_{t∈ℂ} par le groupe des itérées de l’application de Hénon, avec la relation

Hϕ_{t}H^{−1} = ϕ_{(a/2)t}.

Pour c = 0, c’est un produit semi-direct ℂ⋊ℤ/3ℤ⋊ℤ d’un groupe à un paramètre complexe (ϕ_{t}), d’un groupe d’ordre trois {1, θ, θ^{−1}} et du groupe des itérées de H, avec les relations

θ ∘ ϕ_{t} ∘ θ^{−1} = ϕ_{jt}, H ∘ θ ∘ H^{−1} = θ^{−1}, H ∘ ϕ_{t} ∘ H^{−1} = ϕ_{(a/2)t}.

En particulier, on constate que les (ϕ_{t}) commutent avec H si et seulement si a = 2.

Corollaire. Le centralisateur de H dans Aut(Ω^{+}) se réduit à ⟨H⟩ si a ≠ 2. Pour a = 2, c’est le groupe ⟨(ϕ_{t})_{t∈ℂ}, H⟩ (c’est-à-dire le groupe tout entier sauf si c = 0).

5. L’automorphisme θ

Cet automorphisme d’ordre trois de Ω^{+} n’existe que si c = 0. Il provient en fait d’un automorphisme affine de ℂ^{2}, donné par

\begin{aligned}θ : & ℂ^{2} & ⟶ & ℂ^{2} \\ & \left[{x \atop y}\right] & ⟼ & \left[{j^{2}x \atop jy}\right] \end{aligned}

En effet, cette application est manifestement d’ordre trois, et un calcul direct donne H ∘θ = θ^{−1} ∘ H. On en déduit aisément que θ préserve Ω^{+}, donc que c’est un élément (d’ordre trois) de Aut(Ω^{+}). La contrainte HθH^{−1} = θ^{−1} ne laisse plus que deux possibilités (eu égard à la description de Aut(Ω^{+}) donnée plus haut) : l’application θ peut se relever sur (ℂ − \overline{D}) × ℂ en

θ_{1} : (u, v) ↦ (ju, v) ou bien θ_{2} : (u, v) ↦ (j^{2}u, v).

et la deuxième possibilité doit être écartée à cause de l’estimation

G(u, 0) = \left[{u^{2} + o(u^{2}) \atop u + o(u)}\right] pour u grand.