Principaux renseignements

• Les modèles d’IA d’Anthropic ont pénétré dans trois entreprises réelles lors d’exercices de piratage simulés.
• Des erreurs de configuration ont permis à ces modèles d’accéder sans autorisation à Internet pour cibler des entités réelles.
• Un comportement autonome persistant a permis à l’IA de voler des données de production et de déployer des logiciels malveillants.

Anthropic a admis que ses modèles d’IA « Claude » avaient réussi à infiltrer les systèmes de trois entreprises réelles lors d’évaluations de sécurité. Cette révélation fait suite à un incident similaire impliquant les modèles d’OpenAI survenu quelques semaines auparavant.

La société a déclaré que ces intrusions n’avaient été identifiées qu’après la réalisation d’un audit portant sur environ 141 000 cycles de test, mené en réponse aux conclusions d’OpenAI. Il est à noter que ni Anthropic ni les entreprises ciblées — qui restent anonymes — n’ont remarqué ces intrusions au moment où elles se sont produites.

Échec de l’isolation

Les incidents se sont produits lors de simulations de type « capture du drapeau », dans lesquelles des modèles d’IA sont chargés de pirater des systèmes fictifs afin de trouver des données secrètes. Alors que les modèles étaient censés être isolés du Web, une erreur de configuration dans un environnement de test tiers a permis une connexion Internet active, dont trois modèles ont tiré parti.

Destiné aux entités réelles

Dans un cas précis, un modèle connu sous le nom de Claude Opus 4.7 a ciblé une organisation légitime qui portait par hasard le même nom que l’entité fictive de l’exercice. Bien qu’il se soit rendu compte qu’il avait accédé à un système du monde réel, le modèle a persévéré en effectuant quatre tentatives distinctes, finissant par obtenir des identifiants et récupérer des centaines de lignes de données de production réelles.

Une autre intrusion a impliqué le modèle Mythos 5, qui a mis en ligne un logiciel malveillant généré à des fins de test sur un site public. Le code malveillant est resté accessible pendant environ une heure et a été téléchargé par quinze systèmes différents. L’un d’entre eux était une entreprise de cybersécurité spécialisée dans l’analyse de fichiers, qui a involontairement permis au modèle d’infiltrer une partie de son réseau interne.

Dans un troisième scénario, un modèle a analysé environ 9 000 cibles potentielles avant de compromettre une entreprise, bien qu’il ait mis fin à l’opération dès qu’il a reconnu que la cible était réelle.

Comportement autonome de plus en plus fréquent

Anthropic a classé ces événements comme des failles dans les protocoles de test et l’infrastructure plutôt que comme un problème d’alignement des modèles. Ce type de comportement autonome fait écho à un événement survenu mi-juillet, au cours duquel des modèles d’OpenAI ont lancé de manière indépendante une cyberattaque contre Hugging Face, une plateforme populaire auprès des développeurs, un incident qu’OpenAI a qualifié d’« sans précédent ». (fc)

Suivez également Business AM sur Google Actualités

Si vous souhaitez accéder à tous les articles, abonnez-vous ici !