Vecteurs aléatoires et simulation

Introduction

Aiguilles de Buffon

Expérience :
On jette $n$ aiguilles toutes de même longueur $\ell \leq L$ sur un parquet dont les lames sont de largeur $L$ .

Aiguilles de Buffon - suite

$I$ = "Intersecter une lame" : $\frac{\ell}{2} \sin{\Theta} \geq X$ , donc $\begin{align*}\P(I) &= \frac{4}{\pi L} \int_{\left[0, \frac{\pi}{2}\right] \times \left[0,\frac{L}{2}\right]} \1_{\frac{\ell}{2} \sin{\theta} \geq x} d\theta dx\\ &= \frac{4}{\pi L} \int_{\theta=0}^{\frac{\pi}{2}} \int_{x=0}^{\frac{\ell}{2} \sin{\theta}} 1 d\theta dx\\ &= \frac{2 \ell}{\pi L} \int_{0}^{\frac{\pi}{2}} \sin{\theta} d\theta = \frac{2 \ell}{\pi L} \end{align*}$

Loi des grands nombres $\Rightarrow$ estimation de $\pi$

(Attention : convergence très lente...)

Couples de VAr.

Soient $X$ et $Y$ deux VAr. définies sur un même espace probabilisé $(\Omega, \cT, \P)$ .
À chaque évènement élémentaire $\omega$ on associe le couple $(X(\omega), Y(\omega)) \in \R^2$

Note : $(X, Y)$ est encore une variable aléatoire, mais à valeurs dans $\R^2$ .
On peut en fait définir des VA sur tout espace mesuré.

Figure : $\{ (X-0.5)^2 + Y^2 \leq 1 \} \bigcap \{ X^2 + (Y-0.5)^2 \leq 1 \}$

On a ainsi défini un couple $(X, Y)$ de variables aléatoires réelles, aussi appelé vecteur aléatoire (de dimension 2).

Lois jointes et lois marginales

Définition

Soient $X$ et $Y$ deux VAr. définies sur un même espace probabilisé $(\Omega, \cT, \P)$ .
Fonction de répartition conjointe de $X$ et $Y$ (ou f. de r. du couple $(X, Y)$ ) : $F_{X,Y}(x, y) = \P(X \leq x \cap Y \leq y)$

Définition

Fonctions de répartition marginales de $X$ et $Y$ , notées $F_X$ et $F_Y$ : $F_X(x) = \lim_{y \to +\infty} F_{X,Y}(x, y) = \P(X \leq x)$ $F_Y(y) = \lim_{x \to +\infty} F_{X,Y}(x, y) = \P(Y \leq y)$

Notation : si pas d'ambiguité on écrit juste $F(x,y)$ et $F(x)$ , $F(y$ )

Indépendance

Deux VAr. $X$ et $Y$ sont indépendantes ssi. $\forall x,y \in \R \, , \quad F(x,y) = F(x) \times F(y)$ (Réécriture de la caractérisation déjà vue)

L'objet de cette séance est d'étudier le cas des variables "liées".

On commence par définir la notion de probabilité ponctuelle d'un couple dans le cas discret, et de fonction de densité d'un couple dans le cas continu.

Loi jointe : cas discret

Si $X$ et $Y$ prennent des valeurs $x_i$ et $y_j$ en nombre fini ou dénombrable, la loi jointe du couple $(X, Y)$ , notée $P_{X,Y}$ , est entièrement définie par les $\P_{X,Y}(x_i, y_j) = \P(X = x_i \text{ et } Y = y_j)$ On note $p_{i,j} = \P_{X,Y}(x_i, y_j)$ .

Les probabilités d'un couple discret à valeurs finies se résument dans un tableau :

Lois marginales

Lois de $X$ et $Y$ prises séparément

Loi marginale de $X$ : $\P(X = x_i) = \sum_{j} p_{i,j} := p_i$
Loi marginale de $Y$ : $\P(Y = y_j) = \sum_{i} p_{i,j} := p^{(j)}$

On lit ces probabilités dans les "marges" du tableau :

Exemple / Exercice

Une urne contient $r$ boules dont $r_1$ sont blanches et $r_2$ sont noires. On effectue $n$ tirages successifs avec remise. À l'issue des $n$ tirages, on note $X$ (resp. $Y$ ) le nombre de boules blanches (resp. noires).

Déterminer la loi du couple $(X, Y)$ et les lois (marginales) de $X$ et $Y$ .

Couple discret de VAs indépendantes

Deux VAs discrètes X et Y sont indépendantes ssi. $\forall (i,j) \, \, \P(X = x_i \cap Y = y_j) = p_i \, p^{(j)}$

Si on garde les lois marginales trouvée sur l'exemple, le tableau des probabilités s'écrit :

Densité d'un couple

Soit un couple de VAs $(X,Y)$ de fonction de répartition conjointe $F_{X,Y}$ . Si $F$ est $\cC^2$ on définit la densité du couple $(X,Y)$ notée $f_{X,Y}$ par $f_{X,Y} = \frac{\partial^2 F_{X,Y}}{\partial x \partial y}$ As usual : notations $F$ et $f$ si pas d'ambiguité.

Ainsi, $F(x,y) = \int_{u=-\infty}^{x} \int_{v=-\infty}^{y} f(u,v) \, du \, dv$

Calculs de probabilités

$\P(X \leq x \cap Y \leq y) = \int_{u=-\infty}^{x} \int_{v=-\infty}^{y} f(u,v) du dv = F(x,y)$ $\P(X \in ]a,b] \, \cap \, Y \in ]c,d]) = F(b,d) - F(a,c)$ Plus généralement : $\forall A \in \cB(\R^2) \, , \, \P((X,Y) \in A) = \int_{(u,v) \in A} f(u,v) \, du \, dv$

Les fonctions de répartition marginales sont définies par $F_X(x) = \int_{u=-\infty}^{x}\int_{v=-\infty}^{+\infty} f(u,v) \, du \, dv = \P(X \leq x)$ $F_Y(y) = \int_{u=-\infty}^{+\infty}\int_{v=-\infty}^{y} f(u,v) \, du \, dv = \P(Y \leq y)$

Exemple de calcul

$X$ VAr. de loi exponentielle $\cE(1)$
$Y$ VAr. de loi uniforme $\cU(0,2)$
Indépendance supposée ( $\Leftrightarrow f_{X,Y} = f_X f_Y$ )

$\begin{align*} \P((X,Y) \in [0,1]^2) &= \int_{x=0}^{1} \int_{y=0}^{1} \frac{e^{-x}}{2} dx dy\\ &= \int_{x=0}^{1} \frac{e^{-x}}{2} dx\\ &= \frac{1}{2} (1 - e^{-1}) \end{align*}$

Changement de variables

Soient $U$ , $V$ deux ouverts bornés de $\R^n$ , $\psi : U \rightarrow V$ un difféomorphisme de classe $\cC^1$ , et $f$ une application de $V$ dans $\R$ . Alors (si tout est intégrable) $\int_V f(y) dy = \int_U f(\psi(x)) |D(\psi)(x)| \, dx$

$D(\psi)(x) = det\left(\frac{\partial \psi_i}{\partial x_j}\right)$

Exemple : passage en coordonnées polaires, $\psi : (r,\theta) \mapsto (r \cos \theta, r \sin \theta)$ , $|D(\psi)(r,\theta)| = r$ et $\int_{\cD(\rho)} f(x) dx = \int_{\theta=-\pi}^{\pi} \int_{r=0}^{\rho} f(r \cos \theta, r\sin\theta) r \, dr \, d\theta \, ,$ où $\cD(\rho)$ = disque centré de rayon $\rho$ .

Covariance et coefficient de corrélation

Les définitions introduites au chapitre précédent sur les moments d’une variable aléatoire peuvent être étendues à $d$ variables aléatoires définies sur un même espace probabilisé $(\Omega, \cT, \P)$ .

Dans la pratique, on utilise essentiellement les moments du premier ordre, et les moments centrés du second ordre.

$V = \begin{pmatrix} X_1\\ \vdots\\ X_d \end{pmatrix}$

Espérance : $\E[V] = \begin{pmatrix} \mu_1 = E[X_1]\\ \vdots\\ \mu_d = \E[X_d] \end{pmatrix}$

Covariance : matrice de terme général $\Sigma_{i,j} = \text{Cov}(X_i, X_j) = \E[(X_i - \E[X_i])(X_j - \E[X_j])]$ Remarque : $\text{Cov}(X_i, X_i) = \text{Var}(X_i)$

Propriétés de la covariance

Bilinéarité

$\text{Cov}\left(\sum_i \lambda_i X_i, \sum_j \mu_j Y_j\right) = \sum_{i,j} \lambda_i \mu_j \text{Cov}(X_i, Y_j)$

Corollaire

$\text{Var}\left(\sum_i^{n} \alpha_i X_i\right) = \sum_i^{n} \alpha_i^2 \text{Var}(X_i) + 2 \sum_{1 \leq i < j \leq n} \alpha_i \alpha_j \text{Cov}(X_i, X_j)$

Preuve : écrire les définitions.

La covariance

Généralisation

On peut définir des couples de VAr. ni discrets ni à densité. Par exemple $X \sim \cP(\lambda)$ et $Y \sim \cN(\mu, \sigma)$ . On écrit alors $\P(X = k \text{ et } Y \in I) = \P(X^{-1}(\{k\}) \cap Y^{-1}(I))$

Il faut alors faire attention en calculant l'espérance relativement à la loi du couple : $\text{Cov}(X,Y) = \int_{\omega \in \Omega} (X(\omega) - \E[X]) (Y(\omega) - \E[Y]) d\P(\omega)$ Sur l'exemple ci-dessus : $\text{Cov}(X,Y) = \sum_{n=1}^{+\infty} \left(n - \frac{1}{\lambda} \right) e^{-\lambda} \frac{\lambda^n}{n!} \int_{x = -\infty}^{+\infty} (x - \mu) \frac{1}{\sigma \sqrt{2 \pi}} e^{-\frac{(x-\mu)^2}{2 \sigma^2}} dx$

Preuve de l'inégalité de Cauchy-Schwarz

On considère le polynôme $P(t) = || t u + v ||^2 = \langle t u + v, t u + v \rangle = t^2 ||u||^2 + 2 t \langle u, v \rangle + ||v||^2$ Il est toujours positif, donc son discriminant est négatif ou nul : $4 \langle u, v \rangle^2 - 4 ||u||^2 ||v||^2 \leq 0$ On aboutit à l'inégalité souhaitée.

Note : il existe une démonstration géométrique ; on peut aussi directement calculer $\left|\left| \frac{u}{||u||} \pm \frac{v}{||v||} \right|\right|^2$ . Voir par exemple ce document.

Exemple de calcul

$X \sim \cE(2)$ et $Y = 1 - 2X$
$\E[X] = \frac{1}{2}$ et $\E[Y] = 0$

$\begin{align*} \P(X \leq x \text{ et } Y \leq y) &= \P\left(X \leq x \text{ et } X \geq \frac{1 - y}{2}\right)\\ &= \1_{2x \leq 1-y} (e^{-x} - e^{-\frac{1-y}{2}}) \end{align*}$ Non dérivable sur la droite $2x = 1 - y$ , donc pas de densité.

$\begin{align*} \text{Cov}(X,Y) &= \E[XY] - \E[X]\E[Y]\\ &= \int_{0}^{+\infty} 2 (x - 2 x^2) e^{-2x} dx - 0\\ &= \E[X] - 4 \int_{0}^{+\infty} x^2 e^{-2x} dx\\ &= \E[X] - 2\E[X] = -\frac{1}{2} \end{align*}$

Vecteurs gaussiens

Définition

Un vecteur de VAr. $(X_1, \dots, X_d)$ est dit gaussien si toute combinaison linéaire non nulle de ses coordonnées est une VAr. normale.

Expression de la densité : $f_{X_1,\dots,X_d}(x \in \R^d) = \frac{1}{(2 \pi)^{d/2} |\Sigma|^{1/2}} e^{-\frac{1}{2} (x - \mu)^{T} \Sigma^{-1} (x - \mu)}$

Propriété : si deux composantes $X_i$ et $X_j$ sont décorrélées ( $\rho_{i,j} = 0$ ), alors elles sont indépendantes.

Preuve : on écrit la fonction caractéristique $\varphi(u) = \E[e^{i\langle u,X\rangle}]$ qui se factorise en le produit des fonctions caractéristiques des composantes $X_i$ . Cf. par exemple p.8 dans ce document

Lois conditionnelles (VA à densité)

Si $X$ et $Y$ sont dépendantes, on écrit $\begin{align*} \P(Y \leq y \, | X \in [a, b]) &= \frac{\P(X \in [a,b] \text{ et } Y \leq y)}{\P(X \in [a,b])}\\ &= \frac{\int_{a}^{b} \int_{-\infty}^{y} f(u,v) du \, dv}{\int_{a}^{b} \int_{-\infty}^{+\infty} f(u,v) du \, dv} \end{align*}$

Fonction de répartition conditionnelle

$F(y|x) = \lim_{a,b \to x} \P(Y \leq y \, | X \in [a, b]) = \frac{1}{f_X(x)} \int_{-\infty}^{y} f(x,v) dv$

Densité de probabilité conditionnelle

$f(y|x) = \frac{\partial F(y|x)}{\partial y} = \frac{f(x,y)}{f_X(x)}$

Propriétés

$\int_{\R} f(y|x) dy = 1$
$f(x,y) = f(y|x) f_X(x) = f(x|y) f_Y(y)$
$f_Y(y) = \int_{\R} f(y|x) f_X(x) dx$ et $f_X(x) = \int_{\R} f(x|y) f_Y(y) dy$

"Formule de Bayes" sur les lois

$f(x|y) = \frac{f(y|x) f_X(x)}{f_Y(y)} = \frac{f(y|x) f_X(x)}{\int_{\R} f(y|u) f_X(u) du}$

Exemple

Soit $D$ le domaine défini par $D = \{0 < x < 1 \, , \, 0 < y < 1 \}$ et $(X, Y)$ un couple de densité $f(x,y) = \left\{ \begin{align*} &4 x (1 - y) \text{ si } (x,y) \in D\\ &0 \quad \text{sinon} \end{align*} \right.$ Loi conditionnelle de $X$ sachant $Y = y \in ]0,1[$ ?

Solution

$f(x|y) = \frac{f(x,y)}{f_Y(y)} = \frac{x (1 - y)}{\int_{0}^{1} x (1-y) dx} = 2 x$

$F(x,y) = \int_{0}^{x} \int_{0}^{y} f(x,y) dx dy = x^2 y (2 - y)$

Espérance conditionnelle

Conditionnellement à un évènement

Cas discret

$X$ et $Y$ VAr. discrètes. $\E[X|Y = y] = \sum_{x \in X(\Omega)} x \P(X = x|Y = y)$ (espérance de $X$ par rapport à la mesure de probabilité conditionnelle $\P(.|Y=y)$ )

Cas continu

$X$ et $Y$ VAr. à densité. $\E[X|Y = y] = \int_{x \in \R} x f(x| y) dx$

Conditionnellement à une VA

Définition 1 :
On note $\psi$ la fonction qui à $y$ associe $\E[X|Y=y]$ . Alors $\psi(Y)$ est une VA appelée espérance de $X$ conditionnée par $Y$

Définition 2 :
Soit $\cS$ une sous-tribu de $\cT$ dans $(\Omega,\cT,\P)$ . Soit $X$ une VAr. intégrable. Alors il existe une VAr. $Z$ $\cS$ -mesurable vérifiant $\forall U \text{ VA. } \cS\text{-mesurable} \, , \quad \E[XU] = \E[ZU]$ On note $Z = \E[X|\cS]$

$\Rightarrow$ On retrouve la définition 1 en posant $\E[X|Y] = \E[X|\sigma(Y)]$
Voir p.ex. la page Wikipedia comme point de départ

Théorème "de l'espérance totale"

$\E[X] = \E[\E[X|Y]]$

Application utile :
Calcul de $\E\left[\sum_{n=1}^{N} X_n\right]$ avec $X_n$ VA. indépendantes de même loi, et $N$ VA. discrète $\begin{align*} \E\left[\sum_{n=1}^{N} X_n\right] &= \E\left[ \E\left[\sum_{n=1}^{N} X_n \Bigg| N \right] \right]\\ &= \sum_{n \in N(\Omega)} \E\left[\sum_{n=1}^{N} X_n \Bigg| N = n \right] \P(N = n)\\ &= \sum_{n \in N(\Omega)} \E\left[\sum_{k=1}^{n} X_k \right] \P(N = n)\\ &= \sum_{n \in N(\Omega)} n \E[X_1] \P(N = n)\\ &= \E[X_1] \E[N] \end{align*}$

Simulation de variables aléatoires

On a souvent besoin de simuler un ensemble de résultats selon une loi fixée.

Exemples :

Méthodes de Monte-Carlo
Cryptographie
Comportement adverse dans un jeu vidéo
...

Hypothèse

On suppose disposer d'un générateur de nombres aléatoires uniformément répartis dans $[0,1]$ . On le note U.

Cas discret

Exemple 1 : loi de Bernouilli

Un évènement $A$ se réalise avec la probabilité $p$ . On cherche à simuler une VA qui prenne la valeur 1 avec probabilité $p$ , et 0 sinon.

$U := ALEA$
$X := 0$
if $U < p$
$X := 1$
return $X$

Remarque : $X = \1_{U < p}$

Exemple 2 : généralisation

Simuler une réalisation de $X$ avec $\P(X = k) = \pi_k$ , $\sum_{k=1}^{K} \pi_k = 1$ .

$U := ALEA$
for $k$ in $1:K-1$
si $U < \sum_{i=1}^{k} \pi_i$
return $k$
return $K$

Remarque : $X = \sum_{k=1}^{K} k \1_{p_{k-1} \leq U < p_k}$

La méthode revient à découper $[0,1]$ en $K$ morceaux de longueurs respectives $p_k$ :

Loi de Poisson

$X \sim \cP(\lambda) \Rightarrow X(\Omega) = \N$
$p_k = \P(X = k) = e^{-\lambda} \frac{\lambda^k}{k!}$
$P_n = \sum_{k=1}^{n} p_k$

$\left\{ \begin{align*} p_{k+1} &= \frac{\lambda}{k+1} p_k\\ P_{n+1} &= P_n + p_{k+1} \end{align*} \right.$

Donc on peut choisir $X = \sum_{n \geq 0} n \1_{P_{n-1} \leq U < P_n}$

Autre méthode

"Une autre méthode de simulation de VA de Poisson est issue d'une des propriétés des processus de Poisson. Si des évènements surviennent à des dates séparées par des durées exponentielles de paramètre $\lambda$ , le nombre d'évènements survenant en une unité de temps suit une loi de Poisson de même paramètre."

On peut donc simuler $X = \sum_{n \geq 0} n \1_{Z_n \leq 1 < Z_{n+1}}$ avec $Z_n = \sum_{k=1}^{n} Y_k$ où $Y_k \sim \cE(\lambda)$

Méthode par inversion de la f. de r.

Soit $F$ la f. de r. de $X$ et $U \sim \cU([0,1])$

Cas inversible

$F^{-1}(U)$ a même loi que $X$

Algorithme : $x \leftarrow F^{-1}(ALEA)$

Cas général

$F^{-} = \inf \{ t \in \R \, / \, F(t) \geq x \}$

Algorithme : $x \leftarrow F^{-}(ALEA)$

Remarque : le cas général correspond au principe appliqué aux slides précédents

Exemples

$X \sim \cE(\lambda)$

$F(x) = 1 - e^{-\lambda x} \Rightarrow \frac{-1}{\lambda} \ln (1 - F(x)) = x$

Donc on simule $X \leftarrow -\frac{\ln U}{\lambda}$ car $U$ et $1-U$ ont même loi.

$X \sim \cN(\mu,\sigma)$

Il suffit de simuler $\cN(0,1)$ puis d'appliquer la transformation $X \leftarrow \sigma X + \mu$

Cependant, $F^{-1}$ n'a pas d'expression simple...

(Il faudra donc procéder autrement)

Algorithme de rejet

Idée générale : simuler une VA simple, et "rejeter" les réalisations non conformes avec la VA plus élaborée que l'on souhaite obtenir.

Illustration : loi uniforme sur le domaine $B$

Probabilités conditionnelles et rejet

Cas général : simulation de $X | C$ où $C$ est une condition particulière.

Algorithme :

répéter l'expérience
X := résultat
jusqu'à ce que $C$ soit réalisée

Exemple : simulation d'un dé à 3 faces

répéter
U := dé(6)
jusqu'à (U < 4)
X := U

Surface du rectangle = $M (b-a)$
Surface sous la courbe = 1
Surface de la zone grisée : $F(x_0)$

Méthode (boucle)

On tire un point uniformément sur le rectangle : $X := a + (b-a) ALEA \text{ puis } Y := M ALEA$
On garde $X$ ssi. $Y \leq f(X)$

Extension aux supports non compacts

On suppose $f$ à support non borné. Si $f \leq a \, g$ avec $g$ facile à simuler, alors on peut appliquer l'algorithme suivant ( $F$ , $G$ f. de r.)

On tire un point $(X, Y)$ distribué selon $G$ en abscisse, et $\cU([0,a\, g])$ en ordonnée.
Si $f(X) \leq Y$ on garde le tirage, ...etc

Méthode de Box-Müller

On veut simuler $X,Y \sim \cN(0,1)$ indépendantes.

Densité $f_{X,Y}(x,y) = \frac{1}{2\pi} \exp \left( - \frac{x^2 + y^2}{2} \right)$

Passage en coordonnées polaires $x = \rho \cos \theta$ , $y = \rho \sin \theta$ : $f_{X,Y}(x,y) dx dy = \frac{1}{2\pi} e^{-\frac{\rho^2}{2}} \rho d\rho d\theta = f_{R,\Theta}(\rho,\theta) \rho d\rho d\theta$

Calcul des fonctions de répartition : $\begin{align*} F_{R^2}(\rho^2) &= 1 - e^{-\frac{\rho^2}{2}}\\ F_{\Theta}(\theta) &= \frac{\theta}{2 \pi} \end{align*}$ On reconnaît les lois exponentielle et uniforme.

(Note : source web)