Principaux renseignements
- Les LLM ont du mal à avoir des conversations cliniques cohérentes.
- Les chatbots d’IA ont des difficultés à recueillir les antécédents complets des patients.
- Les modèles tels que le GPT-4 ont des difficultés à diagnostiquer avec précision les conditions médicales.
Une étude récente publiée dans Nature Medicine met en lumière les limites des chatbots d’IA dans le monde médical réel. Bien que ces chatbots aient démontré des capacités impressionnantes dans des environnements d’examen simulés, ils sont confrontés à des défis lorsqu’ils interagissent avec des patients de manière dynamique et imprévisible.
Des chercheurs de la Harvard Medical School et de l’université de Stanford ont mis au point un cadre appelé « CRAFT-MD » pour évaluer les grands modèles de langage (LLM) dans le cadre d’interactions réalistes avec les patients. Ils ont constaté que les LLM, tels que le GPT-4, avaient du mal à mener des conversations cliniques cohérentes, à recueillir les antécédents complets des patients et à diagnostiquer avec précision les affections médicales.
Limites des chatbots d’IA
Malgré leur succès dans les scénarios d’examens standardisés, ces modèles ont éprouvé de grandes difficultés à naviguer dans les complexités des dialogues médicaux du monde réel. L’auteur principal, Pranav Rajpurkar, de la Harvard Medical School, a souligné la nécessité d’une évaluation rigoureuse avant de déployer les LLM en milieu clinique.
L’étude suggère que les chatbots d’IA, bien que prometteurs, doivent encore être développés pour gérer efficacement les nuances et les défis des interactions réelles avec les patients dans le domaine de la santé.
Si vous souhaitez accéder à tous les articles, abonnez-vous ici!