En analysant des descriptions de scènes naturelles à l’aide de ces LLMs, les chercheurs ont pu créer une « empreinte digitale » linguistique qui correspond étroitement aux réponses cérébrales observées par IRM lorsque les participants voyaient les mêmes scènes.

Par exemple, ils ont démontré que ces modèles permettent de décoder précisément les réactions du cerveau à divers stimuli visuels, tels que des paysages et des visages.

Les chercheurs ont également développé des réseaux de neurones artificiels capables de mieux prédire les réponses d’activité cérébrale que les meilleurs modèles de vision actuelle, malgré une capacité d’entraînement avec moins de données.

Cette découverte suggère que le cerveau humain représente les scènes de manière similaire aux LLMs.

Les résultats de l’étude ouvrent la voie à des avancées dans la décodification des pensées, l’amélioration des interfaces cerveau-ordinateur et la création de systèmes d’IA plus performants pouvant intégrer une compréhension visuelle humaine.