La profondeur récurrente (en anglais recurrent depth) désigne, dans certaines architectures de transformeurs, une organisation du calcul dans laquelle un même bloc, ou un même groupe de couches partageant les mêmes paramètres, est appliqué plusieurs fois successivement à une représentation interne du modèle. Cette réutilisation permet d'augmenter la profondeur effective du calcul sans augmenter proportionnellement le nombre de paramètres du réseau.
Une approche proche est celle du transformeur à boucles (looped transformer), dans lequel des couches sont exécutées à plusieurs reprises avec des paramètres partagés. Le principe de réutilisation de couches selon la profondeur est notamment présent dans les Universal Transformers proposés en 2018 et publiés à l'ICLR en 2019.
Dans les grands modèles de langage, la profondeur récurrente est notamment étudiée comme un moyen d'augmenter la quantité de calcul réalisée lors de l'inférence au sein des représentations internes du modèle.
Principe
Un transformeur conventionnel est généralement constitué d'une succession de blocs possédant chacun leurs propres paramètres. Les représentations produites à partir des données d'entrée traversent ces blocs avant la production de la sortie.
Dans une architecture à profondeur récurrente, un même bloc peut au contraire être réutilisé plusieurs fois. La représentation interne obtenue après un passage devient l'entrée du passage suivant. La profondeur effective du calcul dépend alors du nombre d'itérations exécutées plutôt que seulement du nombre de blocs distincts stockés dans le modèle.
Ce mécanisme constitue une forme de partage des paramètres selon la profondeur. Un modèle peut ainsi effectuer davantage d'étapes séquentielles de calcul sans devoir disposer d'un nouvel ensemble de paramètres pour chacune de ces étapes.
Cette récurrence ne doit pas être confondue avec celle des réseaux de neurones récurrents classiques, dans lesquels l'état interne évolue principalement au fur et à mesure du traitement des éléments d'une séquence. Dans les architectures à profondeur récurrente, la répétition concerne les étapes de calcul effectuées selon la profondeur du réseau.
Le nombre d'itérations peut être fixe ou variable selon les architectures. Les Universal Transformers utilisent notamment un mécanisme d'arrêt adaptatif permettant de faire varier le nombre d'étapes de calcul. Des travaux plus récents étudient également des modèles dans lesquels la quantité de calcul peut être modifiée au moment de l'inférence.
Développement
Universal Transformers
Les Universal Transformers, présentés par Mostafa Dehghani et ses coauteurs en 2018 puis publiés à l'ICLR en 2019, constituent l'un des antécédents des architectures modernes reposant sur une récurrence selon la profondeur.
Contrairement au transformeur original, qui repose sur une succession déterminée de couches différentes, cette architecture applique de manière récurrente une transformation fondée sur l'auto-attention. Les auteurs lui associent un mécanisme d'arrêt adaptatif permettant d'ajuster la quantité de calcul réalisée pour différentes positions de la séquence.
Une revue consacrée aux méthodes permettant d'alléger et d'accélérer les transformeurs, publiée en 2023 dans ACM Computing Surveys, décrit le Universal Transformer comme une architecture utilisant un mécanisme récurrent selon la profondeur et souligne qu'un nombre fixe d'étapes récurrentes revient à partager les paramètres entre plusieurs niveaux de profondeur.
Transformeurs à boucles
En 2023, Angeliki Giannou et ses coauteurs étudient des transformeurs placés dans une boucle. Ils montrent qu'un réseau comportant un nombre constant de couches peut, lorsqu'il est exécuté de manière répétée, reproduire différents mécanismes de calcul et exécuter des algorithmes itératifs.
En 2024, Liu Yang et ses coauteurs proposent des transformeurs à boucles pour apprendre certains algorithmes utilisés dans l'apprentissage en contexte. Dans les expériences présentées par les auteurs, leur architecture obtient des performances comparables à celles de transformeurs conventionnels sur plusieurs problèmes d'ajustement de données tout en utilisant moins de 10 % de leur nombre de paramètres.
En 2025, Nikunj Saunshi et ses coauteurs étudient le rôle de la profondeur effective dans plusieurs tâches de raisonnement. Pour certaines tâches expérimentales, un transformeur comportant un petit nombre de couches exécutées plusieurs fois obtient des performances proches de celles d'un modèle comportant un nombre plus élevé de couches distinctes, ce qui induit un gain potentiel d'énergie et de vitesse.
Ces travaux établissent notamment une distinction entre le nombre absolu de paramètres d'un réseau de neurones et sa profondeur effective de calcul : plusieurs passages dans un même ensemble de couches peuvent augmenter la seconde sans augmenter le premier dans les mêmes proportions.
Calcul au moment de l'inférence
En 2025, Jonas Geiping et ses coauteurs présentent une architecture de modèle de langage explicitement fondée sur la profondeur récurrente. Leur modèle expérimental comporte 3,5 milliards de paramètres et est entraîné sur 800 milliards de jetons.
L'architecture comprend un bloc récurrent qui peut être exécuté plusieurs fois. Les auteurs étudient ainsi la possibilité d'augmenter la quantité de calcul réalisée au moment de l'inférence en augmentant le nombre de passages dans ce bloc.
Cette méthode diffère des approches dans lesquelles l'augmentation du calcul à l'inférence repose principalement sur la production d'un plus grand nombre de jetons intermédiaires constituant une chaîne de pensée. Dans une architecture à profondeur récurrente, une partie du calcul supplémentaire s'effectue dans les représentations numériques internes du réseau avant la production des jetons de sortie.
Dans les expériences de Geiping et ses coauteurs, l'augmentation du nombre de passages améliore les performances du modèle sur plusieurs tâches, notamment en mathématiques et en programmation. Ces résultats concernent toutefois le modèle et les conditions expérimentales étudiés et ne signifient pas qu'un plus grand nombre d'itérations améliore nécessairement les performances dans tous les cas.
Des travaux publiés en 2026 sur des tâches contrôlées de raisonnement à plusieurs étapes montrent également que l'augmentation du nombre d'itérations à l'inférence peut permettre à certaines architectures à profondeur récurrente de traiter des compositions plus profondes que celles observées pendant l'entraînement. Les auteurs constatent cependant qu'un nombre excessif d'itérations peut dégrader les prédictions.
Raisonnement latent et interprétabilité
La possibilité d'effectuer plusieurs étapes de calcul dans les représentations internes du modèle a conduit à étudier le lien entre profondeur récurrente et raisonnement latent.
Saunshi et ses coauteurs montrent théoriquement que, pour certaines classes de problèmes, des transformeurs à boucles peuvent simuler des algorithmes itératifs et certaines étapes de raisonnement. Ces résultats ne signifient cependant pas que les représentations internes produites par un modèle entraîné constituent nécessairement une chaîne de pensée directement interprétable en langage naturel.
En 2025, Wenquan Lu et ses coauteurs étudient les représentations internes de Huginn-3.5B, un transformeur à profondeur récurrente, à l'aide de plusieurs méthodes d'interprétabilité. Sur les tâches arithmétiques analysées, ils observent des résultats variables selon les couches et les méthodes utilisées et concluent à des indices limités en faveur d'une chaîne de pensée latente facilement décodable.
La profondeur récurrente ne doit donc pas être assimilée à une chaîne de pensée cachée. Elle décrit d'abord une organisation du calcul et du partage des paramètres. La signification des représentations internes produites au cours des itérations constitue une question distincte d'interprétabilité.
Monitorabilité
Le développement de méthodes de raisonnement effectuées en partie dans les représentations internes a suscité des interrogations sur l'explicabilité des modèles.
En 2025, un groupe de chercheurs de diverses structures de recherche et entreprises d'intelligence artificielle souligne que l'observation des chaînes de pensée exprimées en langage naturel peut contribuer à détecter certains comportements indésirables des modèles. Mais, les auteurs estiment que cette technique de surveillance est limitée.
Les architectures permettant d'effectuer davantage de calcul entre deux sorties textuelles posent notamment la question de la quantité de calcul qui reste observable sous la forme d'une chaîne de pensée. Cette question est distincte de celle de la capacité générale à interpréter les états internes d'un réseau neuronal.
Récurrence opaque
En septembre 2026, l'expression anglaise opaque recurrence, traduite par « récurrence opaque » par la presse francophone, se diffuse dans les media à la suite de communications de la société OpenAI sur l'architecture du modèle Astra.
The Information rapporte alors qu'Astra utiliserait de manière limitée une technique de profondeur récurrente, également décrite dans l'article comme un transformeur à boucles. Selon le média, cette architecture permet d'effectuer plusieurs passages de calcul avant la production du résultat et soulève des interrogations quant à la monitorabilité du raisonnement du modèle.
Cette description de l'architecture d'Astra repose alors sur les informations rapportées par le média et non sur une spécification technique détaillée publiée par OpenAI.
Dans son traitement du sujet, Le Grand Continent utilise l'expression française « profondeur récurrente » et la décrit comme une forme de « transformeur à boucles » dans laquelle certains blocs sont réutilisés plusieurs fois afin d'accroître la profondeur effective sans augmenter proportionnellement le nombre de paramètres. Le média rappelle également que le principe de réutilisation de couches selon la profondeur est antérieur aux modèles de 2026.
TechCrunch emploie de son côté l'expression opaque recurrence dans le contexte des préoccupations relatives à la surveillance des chaînes de pensée. Dans un glossaire publié quelques jours plus tard, le média présente recurrent depth comme le terme technique et opaque recurrence comme une formulation mettant davantage l'accent sur les enjeux de sûreté et de monitorabilité.
L'expression « récurrence opaque » relève ainsi du vocabulaire apparu dans le débat médiatique de 2026, tandis que les publications scientifiques antérieures utilisent notamment les notions de transformeur universel, de transformeur à boucles et de profondeur récurrente.
Avantages et limites
Le principal intérêt architectural de la profondeur récurrente est de dissocier partiellement la quantité de paramètres stockés et la profondeur effective du calcul. La répétition d'un bloc ne nécessite pas de créer une nouvelle copie de ses paramètres à chaque passage.
Cette réduction du nombre de paramètres relativement à la profondeur effective ne signifie toutefois pas une absence de coût de calcul. Chaque nouvelle itération nécessite l'exécution du bloc récurrent et augmente donc la quantité d'opérations réalisées et, généralement, la latence de l'inférence.
Le nombre optimal d'itérations dépend par ailleurs du modèle, de son entraînement et de la tâche considérée. Les travaux de 2026 sur la généralisation à différentes profondeurs montrent notamment qu'une augmentation excessive du nombre de passages peut entraîner une dégradation des performances, phénomène décrit par les auteurs comme du « sur-raisonnement » (overthinking).