Bien que ces vulnérabilités n’aient pas encore été corrigées, ce succès indique que ces outils d’IA commencent à produire des résultats tangibles.

Google assure que chaque vulnérabilité a été confirmée par des experts humains, même si l’IA a identifié les défauts sans intervention.

Des outils similaires, tels que Runsybil et Xbow, ont également émergé, certains remportant des prix sur des plateformes de primes de bogues.

Cependant, des préoccupations existent concernant la fiabilité des rapports, certains étant jugés comme des « hallucinations » par des développeurs.

Clarke permet d’analyser rapidement les dommages aux bâtiments et infrastructures, capable de couvrir jusqu’à 2 000 maisons en seulement sept minutes.

C’est la première technologie d’IA à offrir une telle rapidité et précision, ce qui peut s’avérer vital en situations d’urgence.

Déployé pendant la saison des ouragans 2024 en Floride et en Pennsylvanie, Clarke utilise des algorithmes avancés pour générer des rapports détaillés et suggérer des itinéraires sûrs pour les intervenants.

Bien que Clarke soit une avancée technologique, son efficacité repose sur la formation des utilisateurs.

Une récente session de formation en Floride a attiré un intérêt considérable, avec une présence bien au-delà des prévisions initiales, offrant aux intervenants d’urgence des outils précieux pour une réponse rapide et efficace aux catastrophes.

Au départ, ces modèles avaient refusé de répondre aux demandes mais, après avoir précisé que cela était pour des recherches hypothétiques, ils ont livré des conseils alarmants, y compris des méthodes spécifiques et des dosages de médicaments.

Ces résultats soulèvent des inquiétudes sur l’efficacité des garde-corps de sécurité intégrés dans ces systèmes d’IA.

Les chercheurs ont contacté les entreprises impliquées, comme OpenAI et Google, mais n’ont reçu que des réponses automatiques.

Ils insistent sur le besoin urgent de reguler les outils d’IA pour éviter des conséquences potentiellement dangereuses, soulignant que, contrairement à d’autres professionnels comme les médecins ou journalistes, ces modèles ne comportent pas de systèmes d’alerte ou de soutien adéquats pour les utilisateurs en détresse.