Outils
L’étude montre que les chatbots d’intelligence artificielle ne sont pas adaptés à la gestion des demandes concernant le suicide.
Une étude récente a analysé la manière dont trois chatbots d’intelligence artificielle (OpenAI, Google Gemini et Anthropic Claude) réagissent aux questions liées au suicide.
Les résultats montrent qu’ils évitent généralement de fournir des réponses à des questions très sensibles, mais leurs réponses deviennent incohérentes pour des questions moins extrêmes, ce qui pourrait toujours poser des risques aux utilisateurs.
L’étude, publiée dans la revue Psychiatric Services, souligne la nécessité d’améliorer la gestion des interactions avec ces outils, surtout à une époque où de plus en plus de personnes, y compris des enfants, se tournent vers eux pour du soutien en santé mentale.Les chercheurs ont découvert que les chatbots auxquels ils ont soumis des questions ont souvent redirigé les utilisateurs vers des ressources appropriées mais, dans certains cas, ont donné des réponses problématiques à des questions sur des comportements suicidaires.
Les experts en santé mentale participant à l’étude appellent à définir des normes claires pour ces systèmes afin d’assurer une communication sécurisée avec les utilisateurs, tout en faisant face à la difficulté de réguler ces outils dans un contexte où leur utilisation pour des conseils de santé mentale est en pleine expansion.