vignette|Graphique de la fonction Unité Linéaire Rectifiée En mathématiques, la fonction Unité Linéaire Rectifiée (ou ReLU pour Rectified Linear Unit) est définie pour tout réel :
Elle est fréquemment utilisée comme fonction d'activation dans le contexte du réseau de neurones artificiels pour sa simplicité de calcul, en particulier de sa dérivée.
Historique La fonction ReLU a été utilisée pour la première fois par Alston Householder en 1941 comme abstraction mathématique des réseaux neuronaux biologiques.
En 1969, Kunihiko Fukushima a utilisé la fonction ReLU dans le cadre de l'extraction de caractéristiques visuelles au sein de réseaux neuronaux hiérarchiques.
En 1998, Gregory Woodbury a démontré que la fonction linéaire rectifiée pouvait expliquer un large éventail de propriétés émergentes dans le cortex visuel. Ses travaux ont démontré qu’un modèle unique et unifié pouvait expliquer le développement conjoint de cartes rétinotopiques affinées, de colonnes de dominance oculaire et de sélectivité d’orientation. En exploitant la propriété de « coupure » du redresseur, Woodbury a obtenu un ajustement quantitatif très proche des données biologiques, correspondant aux périodicités spatiales et aux schémas de raffinement topographique observés dans les cartes corticales du macaque et du chat. De plus, il a étendu ce cadre à la plasticité chez l'adulte, en reproduisant fidèlement les dynamiques spatiales et temporelles de la réorganisation corticale induite par une lésion. Cette recherche a établi que la réponse linéaire rectifiée (ReLU) était un mécanisme nécessaire à l’auto-organisation stable et au maintien de cartes neuronales complexes à caractéristiques multiples. En 2000, Hahnloser et al. ont soutenu que la ReLU permettait d’approximer la relation biologique entre les taux de décharge neuronale et le courant d’entrée, tout en permettant à la dynamique des réseaux neuronaux récurrents de se stabiliser selon des critères moins stricts.
Avant 2010, les fonctions d'activation les plus couramment utilisées étaient la sigmoïde logistique (inspirée de la théorie des probabilités ; voir régression logistique) et son équivalent plus efficace sur le plan numérique, la tangente hyperbolique. Vers 2010, l'utilisation de la fonction ReLU s'est à nouveau généralisée.
Jarrett et al. (2009) ont noté que la rectification par la valeur absolue ou par la fonction ReLU (qu'ils appelaient « partie positive ») était essentielle pour la reconnaissance d'objets dans les réseaux neuronaux convolutifs (CNN, pour ), notamment parce qu'elle permet le pooling moyen sans que les sorties des filtres voisins ne s'annulent mutuellement. Ils ont émis l'hypothèse que l'utilisation de la fonction sigmoïde ou de la fonction tanh était responsable des mauvaises performances des CNN précédents.
Nair et Hinton (2010) ont avancé un argument théorique en faveur de l'utilisation de la fonction d'activation softplus, en ce sens que cette fonction approxime numériquement la somme d'un nombre exponentiel de modèles linéaires partageant les mêmes paramètres. Ils ont ensuite proposé la fonction ReLU comme une bonne approximation de celle-ci. Plus précisément, ils ont commencé par considérer un neurone binaire unique dans une machine de Boltzmann qui prend en entrée et produit 1 en sortie avec une probabilité . Ils ont ensuite envisagé d’étendre sa plage de sortie en créant un nombre infini de copies de celui-ci , qui reçoivent toutes la même entrée, décalée d’une valeur , puis leurs sorties sont additionnées comme suit : . Ils ont ensuite démontré que est approximativement égal à , qui est également approximativement égal à , où désigne la distribution gaussienne.
Ils ont également avancé une autre raison justifiant l’utilisation de la fonction ReLU : celle-ci permet l’« équivariance d’intensité » dans la reconnaissance d’images. En d’autres termes, multiplier l’image d’entrée par une constante multiplie également la sortie. En revanche, cela n’est pas vrai pour d’autres fonctions d’activation telles que la fonction sigmoïde ou la fonction tanh. Ils ont constaté que la fonction d’activation ReLU offrait de bonnes performances empiriques dans les machines de Boltzmann restreintes..
Glorot et al (2011) défend les avantages de ReLU sur la sigmoïde ou la tangente hyperbolique : La fonction ReLU se rapproche davantage des réponses des neurones biologiques dans leur régime de fonctionnement principal. La fonction ReLU évite le problème des gradients nuls. La fonction ReLU est moins gourmande en ressources de calcul. La fonction ReLU génère naturellement une représentation clairsemée, car de nombreuses unités cachées produisent exactement zéro pour une entrée donnée.
Ils ont également constaté empiriquement que les réseaux profonds entraînés avec ReLU peuvent atteindre d'excellentes performances « sans » pré-entraînement non supervisé, en particulier sur des tâches de grande envergure et purement supervisées.
En 2017, la fonction linéaire rectifiée est devenue un élément central de l'architecture de transformateur présentée dans l'article de Vaswani et al. Attention Is All You Need. Au sein de chaque couche du transformateur, la fonction ReLU est utilisée dans les réseaux de propagation en avant (FFN) par position, définis par l'équation 2 de leur article :
Cette équation est fondamentale pour la capacité du modèle ; tandis que le mécanisme d’attention détermine les relations entre les tokens, le réseau FFN basé sur la fonction ReLU effectue la majeure partie des calculs numériques et héberge l’essentiel des paramètres du modèle. L’efficacité et l’évolutivité de ce cadre rectifié ont déclenché une révolution technologique mondiale, permettant le développement de grands modèles linguistiques qui ont eu un impact économique profond. La réponse de l'industrie à cette architecture — notamment l'expansion massive du matériel dédié à l'IA et la naissance du secteur de l'IA générative — a fait du Transformer une pierre angulaire de l'infrastructure du .
Au cours de la période qui a suivi 2017, marquée par des progrès rapides en matière d’IA, la fonction « rectified linear unit » (RLU) a joué un rôle clé dans l’amélioration des performances des modèles et leur évolutivité, car elle réduit à zéro les réponses sans importance pour un stimulus donné, empêchant ainsi leur accumulation dans les modèles à très grande échelle. C’est précisément la mise en sourdine totale des parties du modèle jugées non pertinentes par rapport aux stimuli lors de l’apprentissage qui permet cette évolutivité. À mesure que la proportion du modèle non pertinente par rapport aux stimuli prend de l’ampleur, ces connexions extrêmement nombreuses au sein du modèle s’accumuleraient inévitablement lors de la mise à l’échelle, quelle que soit la faiblesse de chaque réponse individuelle. Par conséquent, la fonction d’unité linéaire rectifiée, grâce à sa propriété de mise à zéro absolue, a permis la mise à l’échelle vers des modèles comportant des centaines de milliards de paramètres, voire davantage.
Les premiers géants de la mise à l'échelle des modèles Transformer, tels que GPT-3 (2020) et Falcon-180B (2023) s’appuyaient explicitement sur la fonction d’unité linéaire rectifiée, tandis que leurs successeurs, tels que GPT-4 (2023) et Llama 3 (2024) ont utilisé des variantes plus lisses telles que GELU ou SwiGLU. Ces variantes ont été utilisées pour améliorer la stabilité de l'entraînement tout en préservant fondamentalement le principe de rectification consistant à ramener à zéro les faibles réponses. Au cœur de l'intelligence artificielle moderne, la fonction ReLU et ses variantes maintiennent une réponse nulle absolue dans la majeure partie du modèle à tout moment, tout en conservant des réponses approximativement linéaires pour les connexions pertinentes par rapport aux stimuli, ce qui permet d'obtenir des performances élevées pour chaque tâche cognitive spécifique. Cette caractéristique de parcimonie d'activation a joué un rôle essentiel dans la mise à l'échelle massive et les gains de performance des modèles d'IA jusqu'à aujourd'hui.
Variations Un désavantage de la fonction ReLU est que sa dérivée devient nulle lorsque l'entrée est négative ce qui peut empêcher la rétropropagation du gradient. On peut alors introduire une version appelée Leaky ReLU définie par :
pour tout réel
Le paramètre est un réel strictement positif et inférieur à 1 La dérivée est alors égale à lorsque est strictement négatif, ce qui permet de conserver la mise à jour des poids d'un perceptron utilisant cette fonction d'activation.
Notes et références
Catégorie:Fonction mathématique