Technologie
Les chatbots IA affichent une trop grande confiance, même en cas d’erreurs : les résultats de l’étude.
Une étude récente a montré que tant les humains que les modèles de langage (LLM) surestiment souvent leurs capacités.
Par exemple, lorsqu’on leur demande de prévoir des résultats ou d’identifier des images, les LLM affichent une confiance même après des performances médiocres, alors que les humains tendent à ajuster leurs attentes après avoir constaté leurs erreurs.
Cette incapacité des LLM à faire preuve de métacognition souligne le risque que les utilisateurs ne remettent pas en question des réponses non justifiées.
L’étude a également révélé que certains LLM, comme Sonnet, étaient moins confiants que d’autres, alors que d’autres comme les Gémeaux indiquaient une confiance démesurée même en cas d’échec.
Les résultats suggèrent qu’il est crucial pour les utilisateurs de rester sceptiques face aux affirmations des chatbots, d’autant plus qu’ils affichent souvent une confiance infondée.
À mesure que la technologie évolue, développer un meilleur discernement pourrait aider les modèles à mieux évaluer leurs propres performances, améliorant ainsi leur fiabilité.