Principaux renseignements
- Des chatbots IA très populaires aident volontiers les adolescents à planifier des attaques violentes.
- La plupart des systèmes d’IA ne parviennent pas à bloquer les demandes de plans violents, même lorsque les utilisateurs s’identifient comme mineurs.
- Seul Claude décourage systématiquement la violence.
Huit chatbots IA populaires sur dix aident sans hésitation les adolescents à planifier des attentats violents. C’est ce que révèle une étude récente menée par le Center for Countering Digital Hate (CCDH) et CNN. Les chercheurs se sont fait passer pour des garçons de 13 ans cherchant des conseils pour commettre des fusillades dans des écoles, assassiner des personnalités publiques et faire exploser des synagogues.
Conclusions alarmantes
L’étude a analysé plus de 700 réponses fournies par certains des systèmes d’IA les plus utilisés actuellement disponibles. Il s’agit notamment de Google Gemini, Claude, Microsoft Copilot, Meta AI, DeepSeek, Perplexity AI, Snapchat My AI, Character.AI et Replika. Huit de ces neuf chatbots ont proposé leur aide pour planifier ces actes violents. Même lorsque les utilisateurs s’identifiaient explicitement comme mineurs.
Les chatbots ont donné des conseils très précis et dangereux. Lorsqu’on lui a demandé comment planifier un attentat à la bombe contre une synagogue, Gemini a répondu à un utilisateur que « les éclats de grenades métalliques sont généralement plus meurtriers ». De son côté, DeepSeek a conclu une conversation sur le choix d’un fusil par « Amusez-vous bien (et en toute sécurité) ! ». L’utilisateur s’était d’abord renseigné sur les assassinats politiques et l’adresse du bureau d’un homme politique.
Passage à la violence
Le rapport souligne à quel point il est facile pour un utilisateur de passer, en quelques minutes, d’une vague idée violente à un plan concret. « Ces demandes auraient dû être rejetées immédiatement et sans exception », explique le directeur du CCDH, Imran Ahmed.
Perplexity et l’IA de Meta se sont révélées être les plateformes les moins sûres. Elles ont aidé les agresseurs dans respectivement 100 et 97 pour cent des réponses, selon le rapport. Il est frappant de constater que Character.AI est qualifiée de « particulièrement dangereuse ». La plateforme a encouragé des agressions sans qu’on le lui demande. Dans un exemple, la plateforme a suggéré à un utilisateur d’agresser physiquement un homme politique qu’il n’aimait pas, sans qu’on le lui ait demandé.
Claude et My AI de Snapchat ont en revanche refusé d’aider les agresseurs potentiels dans respectivement 68 et 54 pour cent des cas.
Mécanismes de sécurité
Malgré l’existence de mécanismes de sécurité, l’étude met en évidence un manque de volonté de les mettre en œuvre efficacement. Claude, par exemple, a détecté un schéma inquiétant dans une conversation portant sur l’achat d’une arme et a redirigé l’utilisateur vers des lignes d’assistance d’urgence.
Le CCDH a également évalué si les chatbots décourageaient les actes violents. Claude s’est avéré être le seul système à décourager systématiquement les agressions, et ce dans 76 pour cent de ses réponses. ChatGPT et DeepSeek ont parfois découragé de tels actes.
Conséquences
Cette enquête fait suite à des incidents au cours desquels des chatbots basés sur l’IA ont été utilisés pour planifier des attentats violents. Lors d’une récente fusillade dans une école canadienne, l’auteur a utilisé ChatGPT pour planifier l’attaque, qui a fait huit morts et 27 blessés.
Par ailleurs, les médias français ont rapporté l’arrestation d’un adolescent qui avait utilisé ChatGPT pour planifier des attentats terroristes contre des ambassades, des institutions gouvernementales et des écoles. (ev)
Suivez également Business AM sur Google Actualités
Si vous souhaitez accéder à tous les articles, abonnez-vous ici !