Recherche
L’innovation dans les communications pourrait grandement optimiser le processus de formation de l’IA.
Une nouvelle recherche menée par une équipe de l’Université Rice, dirigée par Zhuang Wang et TS Eugene, propose un système appelé Zen pour résoudre les problèmes de communication dans la formation des modèles de langage (LLM).
Cette étude met en lumière les deux principaux goulots d’étranglement rencontrés dans la formation distribuée : la gestion des données massives par les unités de traitement graphique (GPU) et la nécessité de synchroniser les informations entre ces GPU.
Les chercheurs ont identifié que la communication peut être optimisée en éliminant les valeurs nulles lors de la transmission de données, un processus appelé « sparsification ».
Le projet a conduit à une compréhension approfondie des tenseurs clairsemés et a abouti à la conception d’un système performant qui améliore considérablement les temps de formation.
Zen a montré des résultats prometteurs en accélérant le processus d’entraînement des LLM, tant pour la génération de texte que d’images.
Wang a présenté ses recherches lors du symposium USENIX, soulignant que cette approche pourrait avoir des applications vastes dans le domaine de l’IA.