Outils
Une nouvelle étude montre que les outils d’IA sont souvent peu fiables, trop sûrs d’eux et biaisés.
Une étude menée par Pranav Narayanan Venkit et ses collègues à Salesforce AI Research a révélé que de nombreux outils d’intelligence artificielle (IA), comme Bing Chat et GPT 4.
5 d’OpenAI, manquent de fiabilité.
Environ un tiers des déclarations fournies par ces systèmes ne sont pas soutenues par des sources fiables, le chiffre atteignant 47% pour GPT 4.5.
Pour évaluer ces problèmes, les chercheurs ont élaboré un cadre d’audit nommé Deeptrace, qui a examiné la performance de plusieurs IA sur plus de 300 questions, visant à mesurer des critères tels que la confiance excessive et la précision de citation.
Les résultats montrent que l’IA a tendance à fournir des réponses unilatérales, notamment sur des sujets controversés, renforçant ainsi les chambres d’écho d’opinions.
De plus, la précision des citations varie de 40 à 80 %.
Ces résultats soulignent non seulement les limitations des systèmes d’IA, mais aussi la nécessité d’améliorations pour garantir leur fiabilité et leur efficacité, tout en minimisant les risques associés à leur utilisation.
Les chercheurs mettent en garde contre une confiance excessive dans ces technologies pour la recherche d’informations.