Connect with us

Recherche

Comment l’architecture des LLM et les données d’apprentissage influencent le biais de l’IA.

Publié

on

La recherche menée par des scientifiques du MIT a exploré le phénomène de « biais de position » des grands modèles de langages (LLMs) qui tendent à valoriser davantage les informations présentes au début et à la fin d’un texte, tout en négligeant le contenu intermédiaire.

Utilisant un cadre théorique basé sur des graphiques, les chercheurs ont analysé comment la conception des modèles affecte cette tendance.

Ils ont constaté que certaines caractéristiques architecturales, notamment les masques d’attention et les encodages de position, peuvent renforcer ce biais.

Par exemple, le masquage causal incite le modèle à accorder plus d’attention aux mots situés au début d’une séquence, même si ces mots sont moins pertinents.

Les expérimentations effectuées montrent une performance des modèles qui suit une courbe en U : les résultats sont meilleurs lorsque la réponse se trouve au début, moins bons au milieu, puis légèrement améliorés à la fin.

Les chercheurs ont suggéré que des modifications dans les techniques de masquage et d’encodage pourraient aider à atténuer ce biais, rendant les systèmes d’IA plus fiables et pertinents pour des applications variées.

Cette compréhension approfondie du mécanisme d’attention pourrait améliorer les performances des modèles dans des contextes critiques où la précision est essentielle.

Cybersécurité

L’approche topologique identifie les attaques contradictoires dans les systèmes d’IA multimodaux.

Publié

on

Les avancées rapides dans les modèles d’intelligence artificielle (IA) multimodaux ont exposé de nouvelles vulnérabilités en cybersécurité, amplifiant les risques d’attaques.

Des chercheurs du Los Alamos National Laboratory ont développé un cadre innovant pour détecter les menaces adversariales, visant à renforcer la sécurité des systèmes qui combinent texte et images.

Les attaques, utilisant des perturbations subtiles pour manipuler les résultats, soulignent le besoin d’une compréhension approfondie des faiblesses des modèles afin d’améliorer leur résilience face à ces menaces complexes.

Cette approche repose sur l’analyse topologique des données pour identifier les signatures d’attaques, en mesurant les distorsions géométriques causées par des intrusions.

Deux nouvelles techniques, appelées « pertes contrastives topologiques », ont été mises au point pour quantifier ces différences de manière précise.

Les résultats, validés via un supercalculateur, ont montré que cette méthode dépasse les défenses actuelles, offrant ainsi une protection efficace contre les menaces adversariales.

La recherche, qui met en avant l’importance de ces approches topologiques, a été présentée lors d’une conférence internationale, soulignant son potentiel transformateur pour sécuriser les systèmes d’IA futurs.

Continuer à lire

Recherche

L’IA modélise 4 milliards d’atomes pour développer des matériaux améliorés.

Publié

on

Microsoft révèle avoir déjoué une fraude de 4 milliards de dollars.

Des chercheurs de l’USC ont conçu un modèle d’intelligence artificielle, nommé Allegro-FM, capable de simuler plus de 4 milliards d’atomes simultanément, ouvrant ainsi la voie à un béton nouvelle génération.

Ce matériau innovant pourrait non seulement capturer le dioxyde de carbone mais aussi durer jusqu’à 2 000 ans, rivalisant avec la résilience des structures antiques.

Face au changement climatique, ce béton pourrait se réparer ou absorber le CO2, réduisant les émissions associées à sa production, qui représentent environ 8 % des émissions mondiales de gaz à effet de serre.

Allegro-FM permet d’expérimenter différentes formulations chimiques du béton avant de passer à des tests réels coûteux, optimisant ainsi le développement de matériaux durables.

Grâce à cette avancée, les scientifiques espèrent créer un béton qui non seulement combat le réchauffement climatique mais présente aussi une durabilité accrue.

En améliorant la manière dont les atomes interagissent, le modèle facilite la recherche sur des matériaux complexes, promettant des applications variées et une efficacité supérieure par rapport à des méthodes traditionnelles.

Continuer à lire

Recherche

Les femmes politiques font face à des attaques personnelles accrues en ligne : qui en est responsable ?

Publié

on

Giulia Fossati, entrée en politique italienne en 2021, utilise les médias sociaux pour exprimer ses idées sur des sujets comme la migration et le féminisme.

Cependant, elle fait face à une forte violence en ligne, surtout lorsque ses propos touchent des questions féministes.

Fossati souligne que les attaques qu’elle reçoit, souvent fondées sur son genre et son âge, nuisent à sa crédibilité.

Une recherche révèle que les femmes politiques subissent plus d’attaques liées à leur identité comparé à leurs homologues masculins, qui reçoivent des critiques plus générales.

Les politiques féminines sont souvent ciblées pour leur apparence et leur morale, un phénomène amplifié par des systèmes technologiques et des attitudes sociétales profondément enracinées.

Les chercheurs avertissent que cette hostilité peut dissuader les femmes de se présenter à des postes politiques et réduire leur visibilité en ligne.

Bien que certaines plateformes tentent de modérer les commentaires via l’intelligence artificielle, celle-ci a ses limites.

En réponse aux attaques, Fossati a choisi de répondre avec ironie et de maintenir un focus positif, malgré les critiques.

Elle estime que les commentaires négatifs ne représentent pas l’ensemble de la réalité et continue d’avancer dans son engagement politique.

Continuer à lire

Populaires