Les méthodes actuelles, telles que le décodage autorégressif, entraînent des délais, en raison de leur nature séquentielle.

Des chercheurs du MIT et de Google ont proposé une approche innovante nommée « Pâtes », qui optimise le processus par le biais de l’apprentissage pour reconnaître et générer des segments de texte indépendants en parallèle.

Contrairement aux méthodes traditionnelles basées sur des règles fixes, cette technique permet aux modèles d’apprendre à orchestrer leur propre décodage, améliorant ainsi la vitesse de réponse sans compromettre la qualité.

L’équipe a constaté que cette approche permettait de réduire significativement les temps d’attente, avec des gains allant jusqu’à 2 fois la vitesse de réponse tout en maintenant une qualité comparable.

L’innovation réside dans l’utilisation d’un langage d’annotation qui permet aux modèles de marquer les sections pouvant être traitées simultanément, optimisant ainsi l’utilisation des ressources.