Connect with us

Recherche

Comment l’architecture des LLM et les données d’apprentissage influencent le biais de l’IA.

Publié

2 mois environ

on

La recherche menée par des scientifiques du MIT a exploré le phénomène de « biais de position » des grands modèles de langages (LLMs) qui tendent à valoriser davantage les informations présentes au début et à la fin d’un texte, tout en négligeant le contenu intermédiaire.

Utilisant un cadre théorique basé sur des graphiques, les chercheurs ont analysé comment la conception des modèles affecte cette tendance.

Ils ont constaté que certaines caractéristiques architecturales, notamment les masques d’attention et les encodages de position, peuvent renforcer ce biais.

Par exemple, le masquage causal incite le modèle à accorder plus d’attention aux mots situés au début d’une séquence, même si ces mots sont moins pertinents.

Les expérimentations effectuées montrent une performance des modèles qui suit une courbe en U : les résultats sont meilleurs lorsque la réponse se trouve au début, moins bons au milieu, puis légèrement améliorés à la fin.

Les chercheurs ont suggéré que des modifications dans les techniques de masquage et d’encodage pourraient aider à atténuer ce biais, rendant les systèmes d’IA plus fiables et pertinents pour des applications variées.

Cette compréhension approfondie du mécanisme d’attention pourrait améliorer les performances des modèles dans des contextes critiques où la précision est essentielle.

Vues: 38
Sujets liés
Continuer à lire
Cliquer pour commenter

Leave a Reply

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Actualité

Google rejette les allégations selon lesquelles ses fonctionnalités de recherche basées sur l’IA nuiraient au trafic des sites Web.

Publié

4 heures environ

on

7 août 2025

By

De nombreuses recherches suggèrent que l’intégration de l’IA et des chatbots par Google nuit au trafic des sites des éditeurs, mais la firme conteste cette affirmation, affirmant que le nombre total de clics organiques est resté stable, avec une légère augmentation de la qualité des clics.

Google, par l’intermédiaire de sa vice-présidente Liz Reid, rejette les analyses externes basées sur des méthodologies défectueuses et admet néanmoins un changement dans les habitudes des utilisateurs, avec une migration du trafic vers d’autres plateformes, comme TikTok et Instagram.

Bien que Google mette en avant une prétendue augmentation de la qualité des clics vers certains sites, il ne fournit pas de données précises.

En parallèle, la société cherche à démontrer que l’IA peut offrir plus d’opportunités pour les éditeurs en augmentant la visibilité des liens.

Cependant, des études récentes montrent que le trafic généré par les recherches d’actualités n’entraîne souvent aucun clic vers les sites concernés, ce qui accentue les préoccupations des éditeurs.

Google tente de rassurer tout en proposant de nouvelles solutions pour aider les éditeurs à monétiser leur contenu face au déclin du trafic.

Vues: 8
Continuer à lire

Recherche

Un nouveau système s’approche de la limite théorique de la physique.

Publié

12 heures environ

on

6 août 2025

By

Un système révolutionnaire de mesure de distance absolue, basé sur l’interférométrie de peigne de fréquence optique, a été développé par l’Institut coréen de recherche sur les normes et sciences (KRISS).

Ce dispositif atteint une précision remarquable de 0,34 nanomètres en seulement 25 microsecondes et est conçu pour être compact et robuste, ce qui le rend idéal pour des applications en milieu industriel plutôt que limité à des environnements de laboratoire.

En intégrant un peigne à fréquence optique dans une configuration d’interférométrie, le système combine la précision des normes nationales avec une rapidité d’exécution durant la mesure.

En outre, ce développement répond à la nécessité croissante de mesures de haute précision dans les technologies avancées, telles que l’IA et les semi-conducteurs.

Les chercheurs de KRISS cherchent à améliorer encore ce système en évaluant son incertitude de mesure, visant à établir une nouvelle norme de longueur nationale.

Selon le Dr Jang Yoon-Soo, cette avancée est cruciale pour la position de la Corée sur la scène mondiale en matière de métrologie de précision.

Vues: 14
Continuer à lire

Cybersécurité

L’approche topologique identifie les attaques contradictoires dans les systèmes d’IA multimodaux.

Publié

2 jours environ

on

5 août 2025

By

Les avancées rapides dans les modèles d’intelligence artificielle (IA) multimodaux ont exposé de nouvelles vulnérabilités en cybersécurité, amplifiant les risques d’attaques.

Des chercheurs du Los Alamos National Laboratory ont développé un cadre innovant pour détecter les menaces adversariales, visant à renforcer la sécurité des systèmes qui combinent texte et images.

Les attaques, utilisant des perturbations subtiles pour manipuler les résultats, soulignent le besoin d’une compréhension approfondie des faiblesses des modèles afin d’améliorer leur résilience face à ces menaces complexes.

Cette approche repose sur l’analyse topologique des données pour identifier les signatures d’attaques, en mesurant les distorsions géométriques causées par des intrusions.

Deux nouvelles techniques, appelées « pertes contrastives topologiques », ont été mises au point pour quantifier ces différences de manière précise.

Les résultats, validés via un supercalculateur, ont montré que cette méthode dépasse les défenses actuelles, offrant ainsi une protection efficace contre les menaces adversariales.

La recherche, qui met en avant l’importance de ces approches topologiques, a été présentée lors d’une conférence internationale, soulignant son potentiel transformateur pour sécuriser les systèmes d’IA futurs.

Vues: 17
Continuer à lire

Populaires