Approche intuitive du coefficient de détermination R²

Dans la leçon sur le coefficient de corrélation linéaire $r$‍, nous avons mis l'accent sur sa signification et sur son interprétation et non sur son calcul. D'une part, son calcul est assez complexe et long, d'autre part, tous les logiciels de statistiques donnent sa valeur.

Nous allons faire de même ici avec le coefficient de détermination $r^2$‍.

Dans un sens, $r^2$‍ mesure la diminution de l'erreur de prédiction lorsqu'on utilise la variable $x$‍ pour expliquer la variable $y$‍ dans le modèle de régression linéaire.

On définit le modèle de régression qui n'utilise pas la variable $x$‍ pour estimer les valeurs de $y$‍, c'est-à-dire le modèle composé uniquement de la constante : $y=a$‍

Dans ce cas, l'estimateur des MCO de la constante $a$‍ est la moyenne arithmétique de $y$‍.

Par exemple, soit le nuage de points $(x_i;y_i)$‍ et la droite des MCO où les valeurs prédites de $y$‍ sont toutes égales à la moyenne arithmétique de $y$‍ :

On remarque que cette droite n'ajuste pas au mieux le nuage de points. Pour mesurer la qualité d'un ajustement, on calcule la somme des carrés des résidus (écarts entre les valeurs observées de $y$‍ et les valeurs prédites par le modèle linéaire). Elle indique la variabilité non-expliquée (résiduelle) par le modèle soit l'erreur de prédiction du modèle.

Avec le modèle de régression composé uniquement de la constante, la somme des carrés des résidus est égale à $\mathrm{41,187}9$‍

Si maintenant, on utilise la variable $x$‍ pour prédire les valeurs de $y$‍, les variations de $y$‍ vont-elles être expliquées par celles de $x$‍ ? En d'autres termes, l'erreur de prédiction va-t-elle être réduite ? Si oui, de combien ?

On a représenté le même nuage de points et la droite de régression des MCO :

La droite ajuste mieux le nuage de points. On calcule à nouveau la somme des carrés des résidus pour mesurer la qualité de l'ajustement :

En utilisant la variable $x$‍ pour expliquer la variable $y$‍, la somme des carrés des résidus diminue de $\mathrm{41,187}9$‍ à $\mathrm{13,762}7$‍.

Lorsqu'on utilise la régression linéaire de $y$‍ en $x$‍ par la méthode des MCO, l'erreur de prédiction diminue considérablement. Voyons de combien.

Dans le modèle réduit à la constante, la somme des carrés des résidus est égale à $\mathrm{41,187}9$‍. Dans le modèle incluant la variable $x$‍, elle n'est plus que $\mathrm{13,762}7$‍.

La diminution de la somme des carrés des résidus est de : $\mathrm{41,187}9-\mathrm{13,762}7=\mathrm{27,425}2$‍.

En terme de pourcentage de la valeur initiale de l'erreur de prévision, cette diminution représente :

Dans le tableau résumant la régression, on avait obtenu $r^2=\mathrm{0,665}9$‍.

R² confronte la prédiction du modèle s'appuyant sur $x$‍ avec le modèle qui n'utilise pas l'information procurée par $x$‍ c'est-à-dire basée uniquement sur $y$‍. Il Indique le pourcentage de l'erreur de prédiction de $y$‍ en moins lorsqu'on utilise $x$‍, soit dans quelle mesure la variable $x$‍ permet d'améliorer nos connaissances sur la variable $y$‍ .

La quantité $r^2$‍ est appelée coefficient détermination.

On définit souvent $r^2$‍ comme étant la proportion de la variance de $y$‍ expliquée par le modèle de régression de $y$‍ en $x$‍.

Le carré du coefficient de corrélation linéaire $r$‍ entre $y$‍ et $x$‍ est égal dans le cas de la régression simple au coefficient de détermination. La preuve de la relation entre $r$‍ et $r^2$‍ est assez complexe et dépasse le cadre d'un cours d'introduction à la statistique.