Un nouveau défi de codage IA, le prix K, a été lancé par le Laude Institute, avec son premier gagnant, Eduardo Rocha de Andrade, un ingénieur brésilien ayant obtenu un score de réussite de seulement 7,5 % aux questions.

Ce défi vise à établir des barèmes rigoureux pour évaluer la performance des modèles d’IA en programmation, contrastant avec le système SWE-Bench qui présente des scores beaucoup plus élevés.

L’organisateur, Andy Konwinski, a mis en lumière le besoin de références difficiles et a promis un million de dollars au premier modèle open source atteignant un score supérieur à 90 %.

Le prix K, conçu comme une version sans contamination de SWE-Bench, utilise des problèmes de GitHub signalés après une date limite pour éviter l’apprentissage ciblé.

Les critiques soulignent l’importance de ces nouveaux repères pour évaluer l’IA, avec des opinions partagées sur les causes de la disparité de scores.

Konwinski insiste sur le fait que la difficulté de ce défi sert de rappel sur l’état actuel des capacités d’IA, incitant ainsi l’industrie à relever le défi et à repenser les attentes vis-à-vis des performances des modèles.

Les modèles de langage, comme ChatGPT, doivent répondre rapidement à des demandes de plus en plus complexes.

Les méthodes actuelles, telles que le décodage autorégressif, entraînent des délais, en raison de leur nature séquentielle.

Des chercheurs du MIT et de Google ont proposé une approche innovante nommée « Pâtes », qui optimise le processus par le biais de l’apprentissage pour reconnaître et générer des segments de texte indépendants en parallèle.

Contrairement aux méthodes traditionnelles basées sur des règles fixes, cette technique permet aux modèles d’apprendre à orchestrer leur propre décodage, améliorant ainsi la vitesse de réponse sans compromettre la qualité.

L’équipe a constaté que cette approche permettait de réduire significativement les temps d’attente, avec des gains allant jusqu’à 2 fois la vitesse de réponse tout en maintenant une qualité comparable.

L’innovation réside dans l’utilisation d’un langage d’annotation qui permet aux modèles de marquer les sections pouvant être traitées simultanément, optimisant ainsi l’utilisation des ressources.

Les résultats promettent d’améliorer l’accessibilité et l’efficacité des modèles, ouvrant la voie à des applications plus larges.

Cosyn utilise l’intelligence artificielle open source pour générer des données de formation permettant à d’autres modèles d’apprendre à interpréter des images complexes, telles que des graphiques financiers et des étiquettes de nutrition.

Alors que des systèmes propriétaires comme ChatGPT mènent la course, les chercheurs de l’Université de Pennsylvanie et de l’Allen Institute for AI ont mis au point une méthode innovante pour créer des figures scientifiques et des tableaux, permettant à des modèles open source de rivaliser avec leurs homologues fermés.

Leur ensemble de données COSYN-400K comprend plus de 400 000 images synthétiques et a montré qu’il surpassait des modèles de haute performance tels que GPT-4V.

Pour optimiser la création d’un large éventail de données, l’équipe a développé un logiciel appelé DataDreamer, qui automatise le processus de génération.

En intégrant des « personnages » pour diversifier les perspectives, Cosyn a produit des échantillons d’entraînement riches et variés.

Grâce à cette approche, les chercheurs espèrent rendre les techniques de formation visuelle accessibles tout en contournant les problèmes éthiques liés au contenu protégé.

Leur objectif final est de permettre aux modèles d’IA non seulement de comprendre des images, mais également d’interagir avec elles de manière proactive.