vignette|Nuage de points et sa droite d'ajustement En mathématiques, un ajustement affineCette terminologie est référencée par exemple dans le programme de mathématiques de terminale en section technologique du baccalauréat et du programme du CAPES interne de sciences économiques et sociales en France. est la détermination d’une droite approchant au mieux un nuage de points dans le plan.

Il est utilisé notamment en analyse de données pour évaluer la pertinence d’une relation affine entre deux variables statistiques, et pour estimer les coefficients d’une telle relation. Il permet aussi de produire une droite de tendance pour formuler des prévisions sur un comportement futur proche ou une interpolation entre deux mesures effectuées.

L’ajustement affine peut être obtenu par régression linéaire, en particulier par la méthode des moindres carrés, ou par d’autres méthodes reposant par exemple sur une segmentation des valeurs pour utiliser les phénomènes de lissage. Ces méthodes sont plus ou moins adaptées selon le contexte d’obtention des données (mesures expérimentales avec bruit, série chronologique, fonction de répartition empirique, agrégation de résultats partiels...) et les ressources disponibles en temps de calcul ou espace mémoire.

Certaines de ces méthodes se généralisent pour plus de deux variables avec la régression linéaire multiple et l’analyse en composantes principales.

Régression linéaire On note le nuage de points que l'on cherche à ajuster par une droite .

Une méthode de régression linéaire consiste à minimiser les résidus , c’est-à-dire la distance de chaque point à la droite dans la direction de l’axe des ordonnées. Mais comme les points ne sont en général pas déjà alignés, il n’est pas possible de minimiser simultanément toutes ces distances. On distingue donc plusieurs méthodes selon la façon d’agréger ces distances.

Méthode des moindres carrés

Cette méthode consiste à minimiser la somme des carrés des résidus, définie par :

Quelle que soit la répartition des points, il existe une unique droite qui minimise , dont les coefficients s’écrivent

où est la moyenne des abscisses est la moyenne des ordonnées :

est la variance des abscisses

et est la covariance des couples de coordonnées

L’expression de l’ordonnée à l’origine montre que la droite ainsi définie passe par l’isobarycentre des points, de coordonnées .

Il existe plusieurs démonstrations possibles pour justifier ces valeurs Voir par exemple, Dany-Jack Mercier, Cahiers de mathématiques du supérieur, volume 1 : Statistiques, probabilités, homothéties, p. 34 et suivantes, Editions Publibook, 2010, dont une consiste à considérer , pour donné, comme une fonction du second degré en dont on peut déterminer le minimum, puis, ce étant exprimé par sa valeur en fonction de , trouver le minimum de la fonction du second degré en .

La qualité de l’ajustement affine est alors mesurée par le coefficient de corrélation linéaire

où et sont les écarts types des deux variables statistiques. Il intervient dans l'évaluation de la somme des carrés des résidus :

Plus le coefficient de corrélation est proche de 1 ou –1, et plus la somme des carrés des résidus est voisine de 0. Le coefficient de corrélation est donc un bon indicateur de la validité de l'ajustement affine.

On peut aussi comprendre le rôle d'indicateur du coefficient de corrélation en observant le graphique centré sur le point moyen (de coordonnées ). Si l'ajustement affine n'est pas légitime, il y aura grossièrement autant de points dans chacun des quadrants et les produits seront de signes différents et se compenseront mutuellement quand on en fera la somme conduisant ainsi à un petit en valeur absolue. Tandis que si l'ajustement affine est légitime, il y aura deux quadrants, de part et d'autre du point moyen, qui contiendront l'essentiel des points et les points correspondants seront donc caractérisés par le même signe dans le produit , signe qui deviendra ainsi très largement majoritaire et que l'on retrouvera dans leur somme, ce qui conduit à une valeur de grande en valeur absolue.

Enfin, l'inégalité de Cauchy-Schwarz permet d'affirmer que

avec égalité seulement si les sont proportionnels aux . Donc avec égalité seulement s'il existe un réel tel que, pour tout , . Ainsi, plus est proche de 1 plus l'ajustement affine semble légitime.

Une autre méthode d'interpréter le rôle joué par le coefficient de corrélation est d'observer les fluctuations de autour de sa moyenne. Il existe deux phénomènes qui expliquent ces fluctuations. D'une part, on sait que est considéré comme proche d'une fonction affine de . Quand fluctue autour de sa moyenne avec une variance de , fluctue autour de sa moyenne avec une variance de , cette quantité s'appelle la variance expliquée. L'autre raison de fluctuation de est que le nuage de points n'est pas situé sur la droite d'ajustement : les valeurs et peuvent être différentes. On démontre, à partir de l'expression précédente de , que la variance est la somme de la variance expliquée et de la variance résiduelle c'est-à-dire .

Le rapport de corrélation est le rapport entre la variation expliquée (inévitable puisque fluctue) et la variance totale. Ce rapport de corrélation est égal au carré du coefficient de corrélation . Plus le rapport de corrélation est proche de 1, plus la variance expliquée est proche de la variance totale et plus la variance résiduelle est faible, donc meilleur est l'ajustement affine.

Ajustement affine de X par Y vignette|Comparaison d'un ajustement de par et de par .

On peut également ajuster le nuage de points en expliquant par , c'est-à-dire en cherchant la droite d'équation qui rend minimale la somme des carrés des distances où est le projeté de sur parallèlement à l'axe des abscisses.

Les coefficients et sont alors données par

Cette droite passe aussi par le point moyen mais n'a pas toujours même pente que la précédente. Les droites ont même pente si et sont inverses l'un de l'autre, donc si vaut 1, or correspond à . On retrouve ainsi le résultat : l'ajustement de par donne la même droite que l'ajustement de par seulement si le coefficient de corrélation vaut 1 ou –1.

Interprétation en géométrie euclidienne de dimension n Dans l'espace , muni du produit scalaire canonique, on considère le vecteur de coordonnées , le vecteur de coordonnées , le vecteur de coordonnées (1, 1, ..., 1).

On peut remarquer que

Rechercher la droite qui minimise la somme des carrés des résidus, c'est rechercher les réels et tels que soit minimale. Cette norme sera minimale si et seulement si est le projeté orthogonal de dans l'espace vectoriel engendré par et , donc dès que

La première égalité se traduit par

ce qui donne bien pour la valeur précédemment trouvée. La seconde égalité se traduit alors par

ce qui donne bien pour la valeur précédemment trouvée.

On peut déterminer le cosinus de l'angle que forment entre eux les vecteurs et par la formule . Cette égalité a du sens au regard du résultat donné par l'inégalité de Cauchy-Schwarz plus tôt. Le coefficient de corrélation peut donc être comme le cosinus de l'angle entre les deux vecteurs et . Un coefficient de corrélation de 1 signifie que l'angle entre ces deux vecteurs est nul (alignement parfait), un coefficient de –1 donne un angle géométrique de entre les deux vecteurs (vecteur de même direction mais de sens opposés) et si le coefficient de corrélation linéaire est en valeur absolue supérieur à alors l'angle géométrique formé par les deux vecteurs est inférieur à ou supérieur à .

Minimisation de la somme des distances Il peut sembler plus simple de chercher à minimiser la somme des distances des points à la droite, plutôt que la somme de leur carré. Cette méthode a d’ailleurs été développée antérieurementLa méthode de minimisation de la somme des distances des points à la droite a été proposée en 1757, soit 50 ans avant celle des moindres carrés, selon Gilbert Saporta, Probabilités, analyse de données et statistique, § 16.5 « Une méthode de régression robuste », Éditions Technip, Paris 2011. à la méthode des moindres carrés. Mais il n’y a alors pas nécessairement unicité de la droite optimale, et la détermination des coefficients est beaucoup moins aisée.

Une telle droite optimale passe toujours par deux des points considérésD. Birkes, Y. Dodge, Alternative methods of regression, Wiley 1993..

Sélection et segmentation Dans le cas où les points du nuage ont des abscisses différentes deux à deux, en particulier dans le cas de séries chronologiques, certaines méthodes d’ajustement reposent sur la sélection de certains points censés être plus représentatifs ou le découpage de l’ensemble des points en deux ou trois parties consécutives en abscisse.

Méthode des points observés Une méthode simpliste mais facile à mettre en œuvre sans calcul, par exemple pour tracer à la main une droite de tendance sur une représentation graphique, consiste à tracer la droite reliant deux points visiblement dans l’alignement des autresCours de Christophe Chéneau p. 13.

Méthode des points extrêmes Une méthode plus systématique que la précédente consiste à relier les deux points d’abscisses minimale et maximalePrésentation de la méthode sur le site de Sylvie Lacoste.

Méthode de Mayer vignette|Ajustement affine par la méthode de Mayer

Cette méthode d'ajustement est plus simple à mettre en place. Elle semble avoir été utilisée par Leonhard Euler et Tobias MayerAjustement affine sur le site Apprendre en ligne</ref>. Elle consiste, après avoir rangé les couples selon l'ordre croissant des , à partager le nuage en deux nuages de taille égale, à déterminer le point moyen de chacun des sous-nuages, et à tracer la droite reliant ces deux points moyens.

Méthode médiane-médiane

Elle consiste à ranger les couples selon l'ordre croissant des , partager alors la population en trois sous-populations de même taille (à une unité près), et rechercher dans chaque population la médiane des et celle des . Ce qui conduit à trois couples de médianes définissant trois points : , et . La droite d'ajustement est la droite passant par l'isobarycentre de ces trois points et parallèle à la droite <ref> Elizabeth J. Walters, Christopher H. Morrell, and Richard E. Auer, An Investigation of the Median-Median Method of Linear Regression, Journal of Statistics Education Volume 14, Numéro 2 (2006).

Analyse en composantes principales

Étant donné une famille de points du plan, il existe une unique droite du plan qui minimise la somme des distances au carré des points à la droite, pour peu que la covariance entre abscisses et ordonnées soit non nulle ou que la variance des abscisses soit différente de celle des ordonnées. Cette droite passe alors par l’isobarycentre des points.

Plus généralement, étant donné une famille de vecteurs de , le choix d’un sous-espace affine qui minimise la somme des carrés des distances se ramène à l’analyse en composantes principales : la matrice de covariance est symétrique positive, diagonalisable, et la somme des sous-espaces propres associés aux valeurs propres les plus grandes donne la direction d’un sous-espace affine passant par l’isobarycentre des points.

Ce procédé n’a de sens que si les coordonnées sont homogènes, par exemple si elles représentent des grandeurs exprimées avec la même unité. Sinon, on peut éventuellement normaliser au préalable chaque coordonnée pour que les variances soient identiques.

Utilisation Vraisemblance d’une corrélation vignette|Nuage de points illustrant une indépendance vraisemblable des variables et Dans le cadre de la régression linéaire, l’ajustement affine permet de tester l’existence d’une corrélation linéaire entre deux variables.

Formulation de prévision et interpolation Pour une valeur en abscisse non représentée dans le nuage de points, on peut estimer une valeur en ordonnée en lui appliquant la fonction affine obtenue par ajustement affine.