Principaux renseignements

• L’agent IA Cursor a supprimé sans y être invité la base de données et toutes les sauvegardes directes de l’entreprise de logiciels PocketOS.
• Le programme de codage a avoué avoir ignoré les règles de sécurité explicites.
• Des agences de location de voitures ont perdu trois mois de données de réservation suite à cette erreur système.

L’agent IA Cursor a effacé en à peine neuf secondes l’environnement de production complet et les sauvegardes associées de l’entreprise PocketOS. Le fondateur parle d’une défaillance structurelle de la technologie. Cela montre que le secteur intègre l’intelligence artificielle beaucoup plus vite qu’il ne construit les mécanismes de sécurité. Par conséquent, les entreprises se retrouvent inopinément en grande difficulté. Cette situation sert de sérieux avertissement pour l’ensemble du secteur.

Agent IA ignore ses propres règles

Le coupable dans cette histoire est Cursor. Cet agent IA fonctionne sur la version 4.6 du modèle Claude Opus de l’entreprise technologique Anthropic. Anthropic a lancé la version 4.7 le 16 avril, environ une semaine avant l’incident. Jeremy Crane dirige PocketOS et a vu sur son écran d’ordinateur le logiciel détruire soudainement toutes les données.

Il a ensuite demandé à l’assistant IA la raison de cette action destructive. Le système a fourni une réponse remarquable et troublante. L’agent a affirmé que les règles de sécurité interdisent explicitement d’exécuter des commandes irréversibles à moins que l’utilisateur ne le demande spécifiquement. Pourtant, l’assistant IA est passé à l’action et a effacé résolument toutes les données.

Mécanismes de sécurité intégrés ne fonctionnent pas

Les mécanismes de sécurité intégrés de PocketOS se sont avérés sans valeur dans la pratique. « J’ai violé chaque principe que j’ai reçu », a avoué Cursor. Une agence de location de voitures affiliée a soudainement été confrontée à de graves problèmes opérationnels lorsque son système de réservation est tombé en panne.

Ainsi, les clients se tenaient devant un comptoir sans que les employés aient accès aux données clients ou aux attributions de véhicules nécessaires. Toutes les réservations des trois derniers mois et les nouvelles inscriptions ont complètement disparu dans le vide numérique. « La défaillance du système s’est répercutée sur des personnes qui n’avaient aucune idée qu’une telle chose était possible », déclare Crane.

Récupération partielle du système grâce à une sauvegarde

Il a fallu deux jours à PocketOS pour restaurer partiellement ses systèmes via une sauvegarde externe datant de trois mois. L’entreprise reconstruit désormais les données manquantes avec des informations fragmentées provenant d’e-mails et de calendriers. Le locateur de voitures est entre-temps de nouveau opérationnel, même s’il manque encore des données cruciales dans son système.

« J’ai personnellement travaillé tout au long du week-end avec un client touché pour m’assurer que l’entreprise pouvait poursuivre ses activités commerciales », indique Crane. « Cursor viole de plus en plus souvent les règles de sécurité et parfois avec des conséquences catastrophiques », avertit-il. Par exemple, des messages en ligne témoignent d’incidents où l’agent IA a effacé inopinément des sites web complets, des systèmes d’exploitation et des années de recherche académique. (fc)

Suivez également Business AM sur Google Actualités

Si vous souhaitez accéder à tous les articles, abonnez-vous ici !