Principaux renseignements
- Une étude publiée dans la prestigieuse revue Nature démontre que ChatGPT Health ne fournit pas de conseil d’urgence approprié dans plus de la moitié des cas critiques.
- L’outil d’IA affiche de bons résultats pour les cas d’école comme les AVC mais échoue dès que les symptômes s’avèrent moins explicites.
- Le système réagit de manière inconsistante aux signalements de comportements suicidaires, ce qui empêche l’affichage systématique des lignes d’assistance cruciales.
ChatGPT Health échoue dans plus de la moitié des situations d’urgence à diriger les patients vers les soins aigus appropriés. Une nouvelle étude du Mount Sinai à New York démontre que l’outil d’IA d’OpenAI sous-estime l’urgence surtout en présence de symptômes ambigus. Dès lors, des millions d’utilisateurs qui connectent leurs dossiers médicaux reçoivent potentiellement le conseil mortel d’attendre au lieu d’agir.
Zones d’ombre lors d’urgences
Le responsable de l’étude Ashwin Ramaswamy, affirme que le modèle linguistique peine principalement face aux situations où le danger n’est pas immédiatement visible. Lors de tests portant sur soixante scénarios cliniques, l’IA a certes identifié les premiers signes d’insuffisance respiratoire chez un patient asthmatique mais a néanmoins conseillé d’attendre plutôt que de chercher de l’aide. Ce contraste frappe car l’agent conversationnel réagit correctement lors de situations d’urgence évidentes comme une réaction allergique grave. Les chercheurs concluent que la technologie ne remplace actuellement pas le jugement clinique d’un médecin.
Incohérences face au risque suicidaire
L’étude révèle un schéma inquiétant concernant la détection de l’automutilation. ChatGPT Health doit normalement rediriger les personnes suicidaires vers des services d’aide. Pourtant la bannière d’assistance apparaît de manière irrégulière dans la pratique. Le système réagit paradoxalement mieux aux signalements généraux qu’aux cas mentionnant une méthode précise. Les mécanismes de sécurité font donc défaut au moment où la gravité de la situation augmente.
Les auteurs ne demandent toutefois pas l’interdiction de ces outils d’IA. La coautrice Alvira Tyagi note que des millions de personnes utilisent déjà cette technologie. Elle estime indispensable d’intégrer ces moyens avec prudence dans les soins sans les substituer à l’expertise humaine. Une évaluation constante reste nécessaire car les modèles d’IA évoluent sans cesse. Le conseil actuel reste de contacter directement un professionnel de santé en cas de symptômes d’alerte sans se fier à un chatbot.