Inégalités de concentration et loi des grands nombres

L'inégalité de Bienaymé-Tchebychev

Une variance faible signifie que les valeurs de $X$ restent groupées autour de l'espérance $\mu = E(X)$. L'inégalité de Bienaymé-Tchebychev rend cette idée précise : plus $V(X)$ est petite, moins il est probable que $X$ s'éloigne beaucoup de $\mu$.

Pourquoi est-ce raisonnable ? La variance mesure l'écart quadratique moyen à $\mu$. Si un écart d'au moins $\delta$ était très probable, il ferait grimper la variance : l'inégalité traduit cela.

Moyenne d'un échantillon

Un échantillon de taille $n$ est une liste $(X_1, \dots, X_n)$ de variables indépendantes qui suivent la même loi, d'espérance $m$ et de variance $V$. On note :

$M_n$ est la moyenne de l'échantillon. Calculons ses paramètres avec la linéarité de l'espérance et le fait que, pour des variables indépendantes, les variances s'additionnent :

• $E(S_n) = nm$ et $V(S_n) = nV$ ;

• $E(M_n) = \dfrac{nm}{n} = m$ ;

• $V(M_n) = \dfrac{1}{n^2}\,V(S_n) = \dfrac{nV}{n^2} = \dfrac{V}{n}$.

Pourquoi ? Faire la moyenne de plusieurs mesures compense les écarts dans un sens et dans l'autre : la moyenne fluctue moins que chaque mesure. Pour diviser l'écart type par $2$, il faut quatre fois plus de données.

Cas particulier : si les $X_i$ sont des variables de Bernoulli de paramètre $p$, alors $S_n$ suit la loi binomiale $\mathcal B(n ; p)$ et $M_n = F_n$ est la fréquence de succès. On a $E(F_n) = p$ et $V(F_n) = \dfrac{p(1-p)}{n}$.

Inégalité de concentration et loi des grands nombres

Appliquons Bienaymé-Tchebychev à $M_n$, d'espérance $m$ et de variance $\dfrac Vn$.

Cela découle du fait que $\dfrac{V}{n\delta^2}$ tend vers $0$ quand $n$ tend vers $+\infty$, et qu'une probabilité est positive : par le théorème des gendarmes, elle tend vers $0$.

Interprétation : quand $n$ est grand, la moyenne observée est très probablement proche de $m$. C'est ce qui justifie qu'une fréquence stabilise autour d'une probabilité (par exemple, la fréquence de « pile » proche de $0{,}5$).

Choisir la taille d'un échantillon

On veut une précision $\delta$ et un risque d'erreur au plus égal à $\alpha$. Il suffit que :

Sondage. Pour une proportion inconnue $p$, la variance d'une réponse est $p(1-p)$. Or $p(1-p) \leq \dfrac14$ pour tout $p \in [0 ; 1]$, car $\dfrac14 - p(1-p) = \left(p - \dfrac12\right)^2 \geq 0$. Donc $V(F_n) \leq \dfrac{1}{4n}$ et, sans connaître $p$ :

Dire que $|F_n - p| < \delta$, c'est dire que $p \in [F_n - \delta\,;\,F_n + \delta]$. L'événement contraire a une probabilité au plus égale à $\alpha$ dès que $\dfrac{1}{4n\delta^2} \leq \alpha$.

Application : la surréservation

Une compagnie accepte plus de réservations que de places, sachant que certains clients ne se présentent pas. Avec $n$ réservations et une probabilité $p$ de présence, le nombre de présents $X$ suit $\mathcal B(n ; p)$ : $E(X) = np$ et $V(X) = np(1-p)$.

Retour au début : pour un sondage de $1\,000$ personnes, $\dfrac{1}{4n\delta^2}$ avec $\delta = 0{,}05$ vaut $0{,}1$. On est donc sûr à $90\ \%$ au moins que l'écart entre la fréquence et $p$ est inférieur à $5$ points. Pour $2$ points et $95\ \%$, il faut $n \geq 12\,500$.

L'essentiel

• Bienaymé-Tchebychev : $P(|X - \mu| \geq \delta) \leq \dfrac{V(X)}{\delta^2}$, pour tout $\delta > 0$. C'est une majoration, pas une valeur exacte.

• Pour un échantillon de taille $n$ : $E(M_n) = m$, $V(M_n) = \dfrac Vn$, $\sigma(M_n) = \dfrac{\sigma}{\sqrt n}$.

• Inégalité de concentration : $P(|M_n - m| \geq \delta) \leq \dfrac{V}{n\delta^2}$.

• Loi des grands nombres : cette probabilité tend vers $0$ quand $n \to +\infty$.

• Taille d'échantillon pour une précision $\delta$ et un risque $\alpha$ : $n \geq \dfrac{V}{\alpha\delta^2}$ ; pour une fréquence, $V \leq \dfrac14$.

• Pour majorer $P(X \geq a)$, on s'inclut dans $\{|X - \mu| \geq a - \mu\}$.