Technologie
Un faible nombre de fichiers malveillants peut compromettre les LLM, quelle que soit leur taille.
En se basant sur des expériences avec des modèles allant de 600 millions à 13 milliards de paramètres, les chercheurs ont découvert qu’il suffit de seulement 250 documents malveillants pour compromettre même les plus grands modèles.
Contrairement à l’idée selon laquelle le volume de données propres diluerait l’effet des échantillons empoisonnés, leur étude montre que le risque demeure constant, nécessitant une attention accrue des développeurs pour sécuriser ces systèmes.
Les chercheurs ont inséré un nombre fixe de fichiers malveillants dans leurs modèles et ont exploré différentes méthodes d’organisation de ces fichiers.
Leurs résultats montrent que, quel que soit la taille du modèle, le nombre d’échantillons empoisonnés requis pour initier une attaque est similaire, soulignant l’urgence de renforcer les défenses contre ces menaces dans les modèles futurs.
Ils appellent donc la communauté de l’IA à agir rapidement pour améliorer la sécurité de ces technologies, plutôt que de se concentrer uniquement sur leur taille.