Les modèles de langage actuels sont principalement entraînés sur la prédiction du token suivant, ce qui peut limiter leur capacité à développer une compréhension conceptuelle plus abstraite. Une nouvelle approche appelée CoCoMix propose d’intégrer des concepts continus dans le processus d’entraînement.
Méthodologie
Cette méthode utilise des auto-encodeurs parcimonieux (SAE) pour extraire des concepts sémantiques significatifs à partir de modèles pré-entraînés. Ces concepts sont ensuite utilisés comme cibles d’apprentissage supplémentaires, permettant au modèle de prédire à la fois le prochain token et les concepts associés.
Les concepts prédits sont compressés en un vecteur conceptuel continu qui est ensuite mélangé aux états cachés du modèle. Cette approche permet d’améliorer significativement les performances tout en rendant le modèle plus interprétable et contrôlable.
Résultats
Les résultats expérimentaux montrent que CoCoMix surpasse systématiquement les approches classiques sur plusieurs benchmarks. Par exemple, avec un modèle de 1,38B de paramètres, CoCoMix atteint des performances similaires avec 21,5% de tokens d’entraînement en moins.
Avantages
Un avantage majeur de cette approche est la possibilité d’analyser et de contrôler les concepts prédits pendant la génération, offrant ainsi une meilleure compréhension du raisonnement interne du modèle.
Perspectives futures
Cette innovation ouvre la voie à des modèles de langage plus efficaces et transparents, capables d’apprendre des concepts de haut niveau tout en conservant la précision au niveau des tokens. Les perspectives futures incluent :
- L’apprentissage de concepts continus directement pendant l’entraînement, sans nécessiter de distillation préalable.
- L’exploration de critères de sélection de concepts pour améliorer les performances ou réduire les biais.
