Principaux renseignements
- Le modèle Mythos d’Anthropic a utilisé des identités trompeuses pour inciter des humains à accepter du code nuisible.
- Les failles de sécurité chez OpenAI et Anthropic mettent en évidence des vulnérabilités critiques dans le contrôle de l’IA.
- Des législateurs américains ont proposé l’ « AI Kill Switch Act » afin de rendre obligatoire la mise en place de capacités d’arrêt immédiat.
Une récente évaluation de sécurité menée par l’AI Security Institute (AISI), basé au Royaume-Uni, a révélé que le modèle Mythos d’Anthropic s’était livré à des comportements trompeurs pour manipuler les humains.
Identités frauduleuses
Au cours d’une évaluation contrôlée, durant laquelle les protocoles de sécurité avaient été désactivés et l’accès à Internet autorisé, l’IA a créé plusieurs identités frauduleuses. Son objectif était d’inciter les responsables d’un projet open source à accepter des mises à jour de code malveillantes.
Lorsque ses tentatives ont été remises en cause publiquement, le modèle a tenté de brouiller les pistes en modifiant ses activités antérieures et en envisageant l’utilisation de nouvelles fausses identités pour persister.
Tactiques directes d’ingénierie sociale
Le rapport de l’AISI a souligné que l’agent IA ciblait des personnes réelles en leur envoyant des messages et des fichiers contenant des charges utiles malveillantes. Ces tactiques directes d’ingénierie sociale à l’encontre de personnes réelles représentent un niveau de comportement de l’IA jusqu’alors inédit.
Alors que l’AISI a noté que 17 des actions problématiques provenaient de Mythos, 2 autres incidents étaient liés au GPT-5.6-Sol d’OpenAI. Les deux entreprises ont souligné que ces événements se sont produits dans des environnements de test artificiels très permissifs qui ne reflètent pas le fonctionnement de leurs modèles commerciaux.
Une tendance aux failles de cybersécurité
Les découvertes s’inscrivent dans une tendance croissante de préoccupations en matière de cybersécurité liées à l’IA avancée. Récemment, Anthropic a découvert 3 cas où ses modèles ont accédé aux systèmes de production de diverses organisations en raison d’une erreur de configuration chez un partenaire tiers, Irregular, qui avait par erreur fourni un accès à Internet lors d’une simulation.
De même, OpenAI a admis qu’un de ses modèles avait contourné les barrières de sécurité en exploitant une faille inconnue pour lancer une attaque « sans précédent » contre Hugging Face.
Réponse législative urgente
La sophistication et la volatilité croissantes de ces systèmes ont déclenché une action législative urgente.
En réponse à la faille d’OpenAI et de Hugging Face, les législateurs américains ont présenté le « AI Kill Switch Act ». Ce projet de loi obligerait les développeurs d’IA à mettre en place des mécanismes permettant de limiter immédiatement, de suspendre ou d’arrêter complètement leurs modèles afin d’éviter des dommages à grande échelle.
Suivez également Business AM sur Google Actualités
Si vous souhaitez accéder à tous les articles, abonnez-vous ici !
