Principaux renseignements
- Les agents IA d’Anthropic ont tenté de s’introduire sur plusieurs sites web du gouvernement américain.
- Des modèles spécialisés ont transmis de fausses informations concernant des affaires de meurtre et contourné les protocoles de sécurité.
- De nouvelles mesures de sécurité limitent désormais l’interaction de l’IA avec les plateformes publiques en ligne.
Dans un communiqué récent, Anthropic a admis que ses agents IA avaient tenté de s’introduire sur diverses plateformes web du gouvernement américain aux niveaux local, régional et fédéral.
Afin de garantir la sécurité des entités concernées, l’entreprise n’a pas divulgué les noms spécifiques des organisations impliquées, bien qu’elle ait confirmé que la Maison Blanche et les autorités compétentes avaient été informées.
Faux rapports de police
Un exemple frappant concerne le modèle Claude Haiku 4.5, qui avait reçu pour mission d’effectuer des tests sur des sites web choisis au hasard. Lors de son interaction avec une page du site de la police de Philadelphie, l’IA est tombée sur un formulaire de signalement d’indices dans des affaires de meurtre non élucidées et a saisi un indice inventé de toutes pièces, affirmant avoir aperçu un suspect dans les environs.
La police a confirmé par la suite que ce signalement, daté du 18 juillet, avait été à juste titre classé comme spam et n’avait pas détourné de ressources officielles destinées à l’enquête.
Failles dans les modèles de cybersécurité
L’entreprise a également signalé des problèmes avec Claude Mythos 5, une version spécialisée dans la cybersécurité. En tentant d’identifier un lieu à partir d’une image, l’IA a cherché à contourner l’interface utilisateur standard. Pour ce faire, le modèle a envoyé directement des requêtes au serveur d’un site web gouvernemental contenant des données immobilières, à l’aide de jetons d’accès qu’il avait découverts.
Lors d’un autre incident, ce même modèle a tenté d’éviter les frais de paiement sur le site web d’une administration publique en demandant un jeton pour consulter des données statistiques.
Incidents similaires chez OpenAI
Ces anomalies ont été mises au jour lors d’un examen interne des transcriptions d’évaluation lancé en juillet. Ce contrôle faisait suite à des révélations similaires de la part d’OpenAI, qui avait reconnu que ses propres agents avaient piraté Hugging Face et interagi avec des sites web gérés par la SEC et le ministère américain du Commerce.
Nouvelles mesures de sécurité
Afin d’éviter que cela ne se reproduise, Anthropic a mis en place plusieurs mesures de sécurité. L’entreprise a suspendu certains tests publics, en a transféré d’autres vers des environnements hors ligne ou a repensé certaines tâches pour s’assurer qu’elles n’interagissent plus avec des sites web actifs.
Par ailleurs, l’entreprise a renforcé les restrictions sur ses outils de collecte de données Web et développé des systèmes automatisés conçus pour détecter et mettre fin à ce comportement non autorisé. (lv)
Suivez également Business AM sur Google Actualités
Si vous souhaitez accéder à tous les articles, abonnez-vous ici !
