Famille de variables aléatoires réelles

Covariance et corrélation

Définition
Soit X et Y deux variables aléatoires admettant une espérance. On appelle covariance de X et Y l’espérance du produit (X − E(X))(Y − E(Y)) si elle existe, et dans ce cas on note Cov(X, Y) = E((X − E(X))(Y − E(Y))).

En particulier, on trouve Cov(X, X) = V(X).

Propriété
Soient X et Y deux variables aléatoires admettant une espérance. Elles admettent une covariance si et seulement si leur produit admet une espérance et dans ce cas, Cov(X, Y) = E(XY) − E(X) E(Y).
Démonstration
On a (X − E(X))(Y − E(Y)) = XY − E(Y)X − E(X)Y + E(X) E(Y).
Or les trois derniers termes admettent une espérance par linéarité, donc l’existence de la covariance est équivalente à l’existence de l’espérance du produit. En outre, on calcule E(XY − E(Y)X − E(X)Y + E(X) E(Y)) = E(XY) − 2 E(X) E(Y) + E(X) E(Y).
Propriété
La covariance est bilinéaire et symétrique : si X, Y et Z sont trois variables aléatoires réelles telles que Cov(X, Y) et Cov(X, Z) existent, alors Cov(X, Y) = Cov(Y, X) et pour tout λ ∈ R, Cov(X, λY + Z) = λ Cov(X, Y) + Cov(X, Z).
Propriété
Soient X et Y deux variables aléatoires réelles. Si chacune admet une variance, alors elles admettent une covariance et leur somme admet aussi une variance avec V(X + Y) = V(X) + V(Y) + 2 Cov(X, Y).
Démonstration
On a |XY| ≤ (1)/(2)(X2 + Y2) donc le produit XY admet une espérance et on trouve V(X + Y) = E((X + Y)2) − (E(X + Y))2 = E(X2 + 2XY + Y2) − (E(X) + E(Y))2 = E(X2) + 2E(XY) + E(Y2) − (E(X))2 − 2 E(X) E(Y) − (E(Y))2 = V(X) + V(Y) + 2 Cov(X, Y).
Propriété
Soient X et Y deux variables aléatoires réelles admettant une variance non nulle. On a l’inégalité |Cov(X, Y)| ≤ √(V(X) V(Y)), avec égalité si et seulement s’il existe (λ, c) ∈ R∗ × R tel que P(Y = λX + c) = 1.
Démonstration
On pose pour tout λ ∈ R, f(λ) = V(Y − λX) = V(Y) − 2λ Cov(X, Y) + λ2 V(X). Cette fonction du second degré est toujours positive donc son discriminant est négatif : 4 Cov(X, Y)2 − 4 V(X) V(Y) ≤ 0, d’où l’inégalité annoncée.
Le cas d’égalité correspond à un discriminant nul, c’est-à-dire à l’existence d’une racine λ, pour laquelle la variance f(λ) est nulle, autrement dit la combinaison linéaire est égale à son espérance c = E(Y − λX) avec une probabilité 1.
Définition
Soit X et Y deux variables aléatoires admettant une variance non nulle. Leur coefficient de corrélation est le réel Cor(X, Y) = (Cov(X, Y))/(√(V(X) V(Y))).
Propriété
Le coefficient de corrélation est toujours compris dans l’intervalle [−1 ; 1].
Il ne vaut 1 en valeur absolue que si l’une des variables est en relation affine avec l’autre avec une probabilité 1. Dans ce cas, le signe du coefficient de corrélation est aussi le signe du coefficient linéaire.
Invariance d’échelle
Soit X et Y deux variables aléatoires admettant une variance non nulle. Pour tout (a, b) ∈ (R+∗)2, Cor(aX, bY) = Cor(X, Y)

Indépendance

Définition
Soit (X1, … , Xn) une famille de variables aléatoires réelles. Ces variables aléatoires sont dites mutuellement indépendantes si pour toute famille (I1, … , In) d’intervalles non dégénéres, P(X1 ∈ I1, … , Xn ∈ In) = P(X1 ∈ I1) × ⋯ × P(Xn ∈ In).
Lemme des coalitions
Soit (X1, … , Xn) une famille de variables aléatoires réelles mutuellement indépendantes et k ∈ ⟦1 ; n − 1⟧. Si Y est une variable aléatoire fonction de X1, … , Xk, alors les variables Y, Xk+1, … , Xn sont mutuellement indépendantes.
Propriété
Deux variables aléatoires indépendantes et admettant une espérance, admettent une covariance nulle.
Propriété
Soit (X1, … , Xn) une famille de variables aléatoires réelles mutuellement indépendantes. Si ces variables admettent toutes une espérance alors leur produit aussi et E(X1 × ⋯ × Xn) = E(X1) × ⋯ × E(Xn).
Si ces variables admettent toutes une variance alors leur somme aussi et V(X1 + ⋯ + Xn) = V(X1) + ⋯ + V(Xn).

Ces résultats ne nécessitent pas que toutes les variables de la famille suivent la même loi, mais on obtient des résultats particuliers lorsque c’est le cas.

Définition
Un échantillon est une famille de variables aléatoires mutuellement indépendantes et de même loi.
Propriété
Soit (X1, … , Xn) un échantillon de variables aléatoires admettant une espérance μ.
La moyenne empirique ¯(X) = (1)/(n) ∑i=1n Xi est d’espérance E(¯(X)) = μ.
Si les variables de l’échantillon admettent une variance σ2 alors V(¯(X)) = (σ2)/(n).