L'élagage des réseaux de neurones (en anglais : Neuronal network pruning) est la pratique qui consiste à retirer des paramètres (ce qui peut impliquer la suppression de paramètres individuels ou de groupes de paramètres, comme les neurones formels) d'un réseau de neurones artificiels existant. L'objectif de ce processus est de maintenir la précision du réseau tout en augmentant son efficacité. Cela peut être fait pour réduire les ressources informatiques nécessaires au fonctionnement du réseau de neurones. Un processus biologique d'élagage synaptique se produit dans le cerveau des mammifères au cours du développement (voir aussi Darwinisme neuronal).
Élagage des nœuds (neurones) Un algorithme de base pour l'élagage est le suivantMolchanov, P., Tyree, S., Karras, T., Aila, T., & Kautz, J. (2016). Pruning convolutional neural networks for resource efficient inference. arXiv preprint arXiv:1611.06440. : Évaluer l'importance de chaque neurone. Classer les neurones selon leur importance (en supposant qu'il existe une mesure clairement définie de "l'importance"). Supprimer le neurone le moins important. Vérifier une condition de terminaison (à déterminer par l'utilisateur) pour décider de continuer ou non l'élagage.
Élagage des arêtes (poids) La plupart des travaux sur l'élagage des réseaux de neurones se concentrent sur la suppression des poids, c'est-à-dire en fixant leurs valeurs à zéro. Des travaux antérieurs suggèrent également de modifier les valeurs des poids non élagués.
Références
Catégorie:Réseau de neurones artificiels