Non classé
Les modèles de langage auto-améliorés prennent forme grâce à la technique SEAL mise à jour par le MIT.
Les chercheurs du Massachusetts Institute of Technology (MIT) ont développé une technique innovante appelée SEAL (Self-Adapting LLMs), permettant aux grands modèles de langage (LLM) d’améliorer leur performance en générant des données synthétiques pour leur auto-formation.
Initialement présenté dans un article en juin, SEAL a depuis été étendu et mis à disposition sur GitHub sous une licence open source.
Ce cadre innovant permet aux LLM de créer et d’appliquer de manière autonome des stratégies de réglage fin, contrairement aux modèles traditionnels qui s’appuient sur des données externes statiques.
SEAL fonctionne grâce à une structure à deux boucles : une boucle interne pour le réglage fin supervisé et une boucle externe utilisant l’apprentissage par renforcement.
Les tests montrent que SEAL améliore la précision des réponses des modèles et surpasse même des modèles externes comme GPT-4.1.
Bien que prometteuse, la technique fait face à des défis, notamment l’oubli catastrophique et les contraintes de calcul.
Les chercheurs continuent d’explorer les applications futures de SEAL pour développer des systèmes IA auto-adaptatifs capables d’apprendre et de s’améliorer sans intervention humaine continue.