vignette|upright=1.2|Les courbes de perte bleues représentent une mémorisation précoce des données d'entraînement (similaire au surapprentissage), et les courbes rouges montrent la généralisation tardive, avec l'apprentissage d'un algorithme d'addition modulaire qui fonctionne pour d'autres nombres. En apprentissage automatique, le grokking (ou généralisation différée) est un phénomène au cours duquel après une première phase de surapprentissage massif où le modèle mémorise simplement son ensemble de données d'entrainement, ce dernier trouve soudainement, après un grand nombre d'itérations, une solution qui se généralise à des tâches similaires. Ceci diffère radicalement du comportement habituellement attendu où le modèle commence par apprendre les motifs généraux avant de finir par mémoriser par cœur les réponses attendues.
Origine Le terme a été introduit en par des chercheurs d'OpenAI qui étudiaient comment les réseaux de neurones effectuent des additions et d'autres opérations de l'arithmétique modulaire. Cette appellation dérive du mot grok inventé par Robert Heinlein dans son roman Stranger in a Strange Land. Le « grokking » désigne un phénomène bien précis au cours duquel la capacité du modèle à généraliser arrive tardivement, et sans liens apparents avec ses résultats sur ses données d'entraînement qui ont atteint un plafond bien avant que la généralisation ne survienne. Le nombre d'itérations entre l'instant où le modèle atteint des performances optimales sur ses données d'entrainement et le moment où ce dernier généralise est parfois qualifié de « grokking time ».
Interprétation Le grokking peut être compris comme une transition de phase au cours du processus d'entraînement. Bien que le grokking ait été considéré comme un phénomène largement lié à des modèles relativement superficiels, le grokking a été observé dans des réseaux neuronaux profonds et des modèles non neuronaux, et fait l'objet de recherches actives .
Une explication classique propose que la régularisation L2 (un composant de la fonction de perte qui pénalise les valeurs élevées de paramètres) favorise la solution générale, qui implique des valeurs moins élevées de paramètres, mais qui est aussi plus difficile à trouver. Selon Neel Nanda, l'apprentissage de la solution générale pourrait en fait être graduelle, même si la transition vers la solution générale arrive ensuite de manière relativement soudaine.
Toutefois, cette vision est aujourd'hui nuancée : une étude récente suggère que, si la régularisation L2 semble permettre l'émergence du grokking, c'est parce que cette dernière limite le risque d'effondrement de la fonction softmax (Softmax Collapse). En parallèle, des travaux expérimentaux montrent qu'en adaptant l'algorithme de mise à jour des poids en une variante ⟂Grad (variante qui ne conserve que la composante orthogonale aux poids du gradient), il est possible d'obtenir une généralisation beaucoup plus rapide et qui donne lieu à une courbe d'apprentissage qui se rapproche davantage du paradigme classique.
Références
Catégorie:Phénomène Catégorie:Apprentissage automatique