Contrairement aux méthodes traditionnelles qui reposent sur des catégories rigides, OAK permet une analyse plus flexible où une même image peut être perçue différemment selon les objectifs ou le contexte.

Par exemple, une image d’une personne en train de boire peut être classée selon l’action réalisée, le lieu ou l’émotion.

L’approche OAK allie utilisation de données non marquées et étiquetées, ainsi que des jetons de contexte qui guident le traitement des images.

Ce modèle d’IA, basé sur le système CLIP d’OpenAI, a démontré sa capacité à identifier de nouvelles catégories d’objets, comme des chapeaux ou des bagages dans le cadre d’une vente de garage, même sans exemples d’apprentissage spécifiques.

Les chercheurs ont testé OAK sur des ensembles de données d’images, obtenant des résultats prometteurs qui montrent une précision supérieure dans la découverte de concepts par rapport aux méthodes existantes.