📖
Apprentissage incrémental sous contrainte mémoire : stratégie de mise à l'échelle de réseaux de neurones
Eva Feillet, Adrian Popescu, Céline Hudelot, Marina Reyboz

Apprentissage incrémental sous contrainte mémoire : stratégie de mise à l'échelle de réseaux de neurones

Science & Mathematics Published 2022 Verification Pending

Overview & Synopsis

Les réseaux de neurones profonds excellent aujourd’hui dans les tâches d’apprentissage supervisé à distribution de données fixée. Cependant, il n’est pas toujours possible de disposer de de toutes les données simultanément pour entraîner un modèle profond. Face à ce défi, l’apprentissage continu vise à construire des modèles capables d’apprendre de manière séquentielle et d’intégrer de nouvelles connaissances au cours du temps sans pour autant accéder aux données passées. En particulier, l’apprentissage incrémental par classes (class-incremental learning, CIL) traite des problèmes de classification où l’apprentissage se fait par étapes. Une étape consiste à intégrer au modèle de classification un ensemble de nouvelles classes. Dans le scénario dit “sans mémoire”, qui est le plus difficile, à chaque étape, seules les données relatives aux nouvelles classes sont accessibles. Un champ d’application majeur de l’apprentissage incrémental est la vision par ordinateur pour les systèmes embarqués, lesquels sont sujets à des contraintes pratiques fortes, comme le budget mémoire que l’on peut attribuer au modèle. Les applications embarquées requièrent donc des architectures ayant un nombre de paramètres relativement limité. Or, à ce jour, la majorité de la littérature en CIL évalue ses méthodes sur la base de réseaux trop volumineux pour les dispositifs ciblés [1, 2]. Un fossé sépare donc les performances espérées et celles atteignables en pratique. Ce travail met en évidence le besoin de stratégies pour améliorer les performances des modèles neuronaux profonds sous contraintes de mémoire. Après une brève revue des travaux existants (Section 2), nous présentons des expériences de mise à l’échelle de réseau de neurones (Section 3). Celles-ci nous ont permis de proposer une méthode de mise à l’échelle souscontrainte mémoire d’un réseau de neurones convolutionnel (Section 4). Enfin, nous concluons avec quelques perspectives.

Indexed from repository: HAL Open Science (hal.science)
Loading document from verified source...
Keyboard Shortcuts: ← / → for pages • + / - for zoom • 0 to fit width Powered by Mozilla PDF.js v3.11

Document Information

Document Title Apprentissage incrémental sous contrainte mémoire : stratégie de mise à l'échelle de réseaux de neurones
Author / Organization Eva Feillet, Adrian Popescu, Céline Hudelot, Marina Reyboz
Subject & Discipline Multidisciplinary Academic Open Research
Categories Science & Mathematics
Publication Year 2022
License / Rights Open Access / Creative Commons
Resource Verification Listed PDF (Verification Pending)
Original Host Website HAL Open Science (hal.science)
File Format application/pdf (Portable Document Format)
Language EN
Catalog ID DOC-191759
Original Source Link Visit Source Page on hal.science »