Trois régimes dynamiques pour l'apprentissage dans un réseaux neural avec deux couches et m neurones cachés (notés MF Feat. learning, Feat. learning et Overfit/Unlearn dans l'image).
Trois régimes dynamiques pour l'apprentissage dans un réseaux neural avec deux couches et m neurones cachés (notés MF Feat. learning, Feat. learning et Overfit/Unlearn dans l'image). © Andrea Montanari, Pierfrancesco Urbani
-A +A
Contact(s)
Pierfrancesco Urbani
Communication CNRS Physique
Imprimer
IPhT

Un scénario pour l’apprentissage automatique dans les réseaux neuronaux surparamétrés

Résultat scientifique

Acceptée comme contribution orale à la conférence NeurIPS 2025, cette étude dévoile un scénario inédit selon lequel, dans des réseaux neuronaux massivement surparamétrés, l’apprentissage des caractéristiques pertinentes coexiste avec le surapprentissage; mais à des moments distincts de l’entraînement, grâce à une séparation des échelles de temps.

Ces recherches ont été menées dans le laboratoire CNRS suivant :

  • Institut de physique théorique (IPhT, CEA/CNRS)

Références :

Dynamical Decoupling of Generalization and Overfitting in Large Two-Layer Networks, Andrea Montanari, Pierfrancesco Urbani, The Thirty-ninth Annual Conference on Neural Information Processing Systems
Archives ouvertes : openreview, arXiv

Contact

Pierfrancesco Urbani
Chercheur CNRS à l'Institut de physique théorique (IPhT)
Communication CNRS Physique