Régression logistique

En statistiques, la régression logistique ou modèle logit est un modèle de régression principalement utilisé en classification binaire. Comme pour tous les modèles de régression binomiale, il s'agit d'expliquer au mieux une variable binaire (la présence ou l'absence d'une caractéristique donnée) par des observations réelles nombreuses, grâce à un modèle mathématique. En d'autres termes d'associer une variable aléatoire de Bernoulli (génériquement notée ) à un vecteur de variables aléatoires . La régression logistique constitue un cas particulier de modèle linéaire généralisé. Elle est largement utilisée en apprentissage automatique.

Histoire

D'après de Palma et Thisse, la première mention du modèle logit vient de Joseph Berkson en 1944 et 1951.

Applications

La régression logistique est largement répandue dans de nombreux domaines. On peut citer de façon non exhaustive : En médecine, elle permet par exemple de trouver les facteurs qui caractérisent un groupe de sujets malades par rapport à des sujets sains. Dans le domaine des assurances, elle permet de cibler une fraction de la clientèle qui sera sensible à une police d’assurance sur tel ou tel risque particulier. Dans le domaine bancaire, pour détecter les groupes à risque lors de la souscription d’un crédit. En économétrie, pour expliquer une variable discrète. Par exemple, les intentions de vote aux élections.

Par exemple, Vincent Loonis utilise un modèle de régression logistique pour étudier les déterminants de la réélection des députés français depuis les débuts de la République.

Modèle

Notations

Soit la variable à prédire (variable expliquée) et les variables prédictives (variables explicatives).

Dans le cadre de la régression logistique binaire, la variable prend deux modalités possibles . Les variables sont exclusivement continues ou binaires. Soit un ensemble de échantillons, comportant (resp. ) observations correspondant à la modalité (resp. ) de . (resp. ) est la probabilité a priori pour que (resp. ). Pour simplifier, cela sera par la suite noté (resp. ). (resp. ) est la distribution conditionnelle des sachant la valeur prise par La probabilité a posteriori d'obtenir la modalité de (resp. ) sachant la valeur prise par est notée (resp. ).

Hypothèse fondamentale

La régression logistique repose sur l’hypothèse fondamentale suivante, où l'on reconnaît la mesure nommée « évidence » popularisée par I.J. Good, E.T Jaynes et Myron Tribus pour les besoins de l'inférence bayésienne en évitant des renormalisations continuelles sur [0,1] :

où représentent les valeurs prises respectivement par les variables .

Une vaste classe de distributions répondent à cette spécification, la distribution multinormale décrite en analyse discriminante linéaire par exemple, mais également d’autres distributions, notamment celles où les variables explicatives sont booléennes (0/1).

Par rapport à l’analyse discriminante toujours, ce ne sont plus les densités conditionnelles et qui sont modélisées mais le rapport de ces densités. La restriction introduite par l'hypothèse est moins forte.

Modèle LOGIT

La spécification ci-dessus peut être écrite de manière différente. On désigne par le terme LOGIT de l’expression suivante :

Il s’agit bien d’une « régression » car on veut montrer une relation de dépendance entre une variable à expliquer et une série de variables explicatives. Il s’agit d’une régression « logistique » en référence à la fonction LOGIT dont la réciproque est une fonction logistique.

En effet, après transformation de l’équation ci-dessus, on obtient

Remarque : Équivalence des expressions

On a deux expressions différentes pour aboutir au modèle logistique. On peut observer ici la concordance entre les coefficients et . Reprenons le LOGIT

On constate que

Estimation — Principe du maximum de vraisemblance

À partir d’un fichier de données, on doit estimer les coefficients du modèle. D'une manière générale, la méthode des moindres carrés ordinaire ne peut pas être appliquée au LOGIT de car il n'est pas rare d'observer des valeurs de égales à 0 ou 1 dont le LOGIT est alors mathématiquement indéfini. La méthode des moindres carrés reste applicable aux valeurs de mais la méthode du maximum de vraisemblance présente les avantages d'une meilleure calibration et meilleure efficacité (faible variance). Ci-dessous une description de la méthode du maximum de vraisemblance pour la régression logistique :

La probabilité d'observer sachant peut s'écrire:

Remarque: Cette expression est égale à l'un des deux termes du produit selon que ou .

La vraisemblance d’un échantillon s’écrit alors :

Cette expression s'exprime en fonction des et des :

Les paramètres qui maximisent cette quantité sont les estimateurs du maximum de vraisemblance de la régression logistique.

En définissant les résidus comme les différences entre probabilités observées et probabilités prédites selon les paramètres estimés, la méthode d'estimation du maximum de vraisemblance garantit que la moyenne des résidus soit nulle, ce qui s'interprète comme une modèle dont la calibration moyenne n'est pas biaisée si l'échantillon est représentatif de la population pour la distribution de . Cette propriété est vérifiée, même lorsque le modèle est invalide, tel qu'en présence d'interactions statistiques. La méthode du maximum de vraisemblance est efficace (faible variance), atteignant asymptotiquement la limite théorique de Cramér-Rao.

Estimation dans la pratique

Dans la pratique, les logiciels utilisent une procédure approchée pour obtenir une solution satisfaisante de la maximisation ci-dessus. Ce qui explique d’ailleurs pourquoi ils ne fournissent pas toujours des coefficients strictement identiques. Les résultats dépendent de l’algorithme utilisé et de la précision adoptée lors du paramétrage du calcul.

Dans ce qui suit, on note le vecteur des paramètres à estimer. La procédure la plus connue est la méthode Newton-Raphson qui est une méthode itérative du gradient (voir Algorithme d'optimisation). Elle s’appuie sur la relation suivante :

est la solution courante à l'étape . est une initialisation possible ; est le vecteur des dérivées partielles premières de la vraisemblance ; est la matrice des dérivées partielles secondes de la vraisemblance ; les itérations sont interrompues lorsque la différence entre deux vecteurs de solutions successifs est négligeable.

Cette dernière matrice, dite matrice hessienne, est intéressante car son inverse représente l’estimation de la matrice de variance covariance de . Elle sera mise en contribution dans les différents tests d’hypothèses pour évaluer la significativité des coefficients.

Sous forme matricielle :

Évaluation

Matrice de confusion

L’objectif étant de produire un modèle permettant de prédire avec le plus de précision possible les valeurs prises par une variable catégorielle , une approche privilégiée pour évaluer la qualité du modèle serait de confronter les valeurs prédites avec les vraies valeurs prises par : c’est le rôle de la matrice de confusion. On en déduit alors un indicateur simple, le taux d’erreur ou le taux de mauvais classement, qui est le rapport entre le nombre de mauvaises prédictions et la taille de l’échantillon.

Lorsque la matrice de confusion est construite sur les données qui ont servi à élaborer le modèle, le taux d’erreur est souvent trop optimiste, ne reflétant pas les performances réelles du modèle dans la population. Pour que l’évaluation ne soit pas biaisée, il est conseillé de construire cette matrice sur un échantillon à part, dit échantillon de test. Par opposition à l’échantillon d’apprentissage, il n’aura pas participé à la construction du modèle.

Le principal intérêt de cette méthode est qu’elle permet de comparer n’importe quelle méthode de classement et sélectionner ainsi celle qui s’avère être la plus performante face à un problème donné.

Évaluation statistique de la régression

Il est possible d’exploiter un schéma probabiliste pour effectuer des tests d’hypothèses sur la validité du modèle. Ces tests reposent sur la distribution asymptotique des estimateurs du maximum de vraisemblance.

Pour vérifier la significativité globale du modèle, on peut introduire un test analogue à l’évaluation de la régression linéaire multiple. L’hypothèse nulle s’écrit , que l’on oppose à l’hypothèse alternative : un des coefficients au moins est non nul

La statistique du rapport de vraisemblance s’écrit , elle suit une loi du à degrés de liberté. est le logarithme de la vraisemblance du modèle avec l’ensemble des variables (donc J+1 coefficients en comptant la constante) et, le logarithme de la vraisemblance du modèle réduit à la seule constante.

Si la probabilité critique (la p-value) est inférieure au niveau de signification que l’on s’est fixé, on peut considérer que le modèle est globalement significatif. Reste à savoir quelles sont les variables qui jouent réellement un rôle dans cette relation.

Évaluation individuelle des coefficients

Dans le cas où l’on cherche à tester le rôle significatif d’une variable, on réalise le test suivant , contre .

La statistique de Wald répond à ce test, elle s’écrit , elle suit une loi du à degré de liberté.

N.B. : La variance estimée du coefficient est lue dans l’inverse de la matrice hessienne vue précédemment.

Évaluation d'un bloc de coefficients

Les deux tests ci-dessus sont des cas particuliers du test de significativité d’un bloc de coefficients. Ils découlent du critère de la « déviance » qui compare la vraisemblance entre le modèle courant et le modèle saturé (le modèle dans lequel on a tous les paramètres).

L’hypothèse nulle s’écrit dans ce cas , où représente un ensemble de coefficients simultanément à zéro.

La statistique du test suit une loi du à degrés de liberté.

Ce test peut être très utile lorsqu'on veut tester le rôle d’une variable explicative catégorielle à modalités dans le modèle. Après recodage, on introduit effectivement variables indicatrices dans le modèle. Pour évaluer le rôle de la variable catégorielle prise dans son ensemble, quelle que soit la modalité considérée, on doit tester simultanément les coefficients associés aux variables indicatrices.

Autres évaluations

D’autres procédures d’évaluation sont couramment citées s’agissant de la régression logistique. On note entre autres le test de Hosmer-Lemeshow qui s’appuie sur le « score » (la probabilité d’affectation à un groupe) pour ordonner les observations. En cela, elle se rapproche d’autres procédés d’évaluation de l’apprentissage telles que les courbes ROC qui sont nettement plus riches d’informations que la simple matrice de confusion et le taux d’erreur associé.

Exemple

À partir des données disponibles sur le site du cours en ligne de Régression logistique (Paul-Marie Bernard, Université du Québec – Chapitre 5), on a construit un modèle de prédiction qui vise à expliquer le « Faible Poids (Oui/Non) » d’un bébé à la naissance. Les variables explicatives sont : FUME (le fait de fumer ou pas pendant la grossesse), PREM (historique de prématurés aux accouchements antérieurs), HT (historique de l’hypertension), VISITE (nombre de visites chez le médecin durant le premier trimestre de grossesse), AGE (âge de la mère), PDSM (poids de la mère durant les périodes des dernières menstruations), SCOL (niveau de scolarité de la mère : =1: <12 ans, =2: 12-15 ans, =3: >15 ans).

Toutes les variables explicatives ont été considérées continues dans cette analyse. Dans certains cas, SCOL par exemple, il serait peut-être plus judicieux de les coder en variables indicatrices.

Lecture des résultats

Les résultats sont consignés dans le tableau suivant.

Dans la matrice de confusion, on lit que sur les données en apprentissage, le modèle de prédiction réalise 10 + 39 = 49 mauvaises prédictions. Le taux d’erreur en re-substitution est de 49/190 = 25,78 %