Cosyn utilise l’intelligence artificielle open source pour générer des données de formation permettant à d’autres modèles d’apprendre à interpréter des images complexes, telles que des graphiques financiers et des étiquettes de nutrition.

Alors que des systèmes propriétaires comme ChatGPT mènent la course, les chercheurs de l’Université de Pennsylvanie et de l’Allen Institute for AI ont mis au point une méthode innovante pour créer des figures scientifiques et des tableaux, permettant à des modèles open source de rivaliser avec leurs homologues fermés.

Leur ensemble de données COSYN-400K comprend plus de 400 000 images synthétiques et a montré qu’il surpassait des modèles de haute performance tels que GPT-4V.

Pour optimiser la création d’un large éventail de données, l’équipe a développé un logiciel appelé DataDreamer, qui automatise le processus de génération.

En intégrant des « personnages » pour diversifier les perspectives, Cosyn a produit des échantillons d’entraînement riches et variés.

Grâce à cette approche, les chercheurs espèrent rendre les techniques de formation visuelle accessibles tout en contournant les problèmes éthiques liés au contenu protégé.

Leur objectif final est de permettre aux modèles d’IA non seulement de comprendre des images, mais également d’interagir avec elles de manière proactive.

Des chercheurs de l’Université Columbia ont développé une nouvelle génération de robots capables de « grandir », « guérir » et s’adapter à leur environnement en intégrant des matériaux provenant d’autres robots et de leur milieu.

Ce processus, nommé « métabolisme des robots », permet aux machines d’absorber et de réutiliser des pièces pour améliorer leurs compétences, à l’instar des organismes vivants qui intègrent les ressources disponibles.

Les robots sont construits à partir de modules connectables, ce qui leur permet de former des structures complexes, comme des tétraèdres, en fonction des pièces qu’ils acquièrent.

Les chercheurs envisagent un avenir où ces robots autonomes pourraient se maintenir, évoluer, et s’adapter à des environnements variés, particulièrement utiles dans des situations de crise ou d’exploration spatiale.

La capacité des machines à se réparer et s’améliorer soulève cependant des questions éthiques, notamment sur leur gestion dans un monde de plus en plus automatisé.

Cette approche biomimétique pourrait transformer la manière dont les robots interagissent avec leur environnement et augmentent leur autonomie.

Des ingénieurs du MIT ont développé une interface portable innovante permettant à quiconque d’enseigner à un robot de nouvelles compétences sans nécessiter de connaissances en programmation.

Cette interface, appelée « interface de démonstration polyvalente », permet d’apprendre une tâche en utilisant l’une des trois méthodes : téléopération, kinesthésie ou démonstration naturelle.

Equipée de capteurs et d’une caméra, elle peut s’attacher à divers bras robotiques collaboratifs, offrant ainsi une flexibilité dans la manière dont les utilisateurs peuvent interagir avec le robot.

Lors d’une expérimentation, des experts manufacturiers ont testé l’interface en utilisant les trois méthodes pour enseigner des tâches courantes en milieu industriel.

Les résultats ont montré une préférence pour la méthode de démonstration naturelle.

Les chercheurs envisagent que cet outil puisse s’appliquer à d’autres domaines, comme les soins à domicile, augmentant ainsi l’adoption des robots en milieu professionnel et domestique.