Recherche
La méthode Zerosearch d’Alibaba exploite des résultats de recherche simulés pour diminuer les coûts de formation des LLM.
Une équipe de chercheurs de l’Alibaba Tongyi Lab a développé une nouvelle méthode de formation des modèles de langage (LLM) appelée Zerosearch, qui réduit considérablement les coûts par rapport aux technologies actuelles.
Leur recherche, publiée sur ArXIV, vise à contourner l’utilisation classique des moteurs de recherche, en substituant des documents générés par intelligence artificielle à ceux obtenus via des API.
Cette technique permet non seulement de diminuer les ressources nécessaires, mais aussi d’améliorer la qualité de l’apprentissage en évitant l’imprévisibilité des données publiques.
Lors des tests, la méthode Zerosearch a montré des frais de formation de 70,80 $ pour 64 000 requêtes, contre 586,70 $ en utilisant des API comme Google.
Malgré une exigence matérielle accrue, nécessitant jusqu’à quatre GPU A100, cette nouvelle approche trouve un équilibre entre coût et efficacité, offrant des résultats de qualité équivalente, voire supérieure, à ceux des méthodes traditionnelles.