Principaux renseignements
- La plateforme Open Agent Safety de Nvidia isole les agents IA autonomes grâce à des limites d’accès strictes.
- Des composants au niveau matériel, tels que Sentry et OpenShell, fournissent une deuxième couche de défense essentielle.
- Des entreprises de premier plan, notamment Anthropic et Salesforce, adoptent déjà ces outils pour prévenir les failles de sécurité.
Nvidia a lancé l’Open Agent Safety Platform, un nouveau cadre de sécurité destiné à gérer et à isoler les agents IA autonomes. Ce système permet aux organisations d’établir des limites strictes concernant l’accès des agents et peut instantanément mettre en quarantaine toute IA qui dépasse ses paramètres autorisés. Cette technologie est polyvalente et fonctionne dans divers environnements matériels et logiciels, notamment la robotique et les systèmes informatiques.
Vision de la sécurité de l’IA
Selon Jensen Huang, PDG de Nvidia, ce n’est qu’en accordant la priorité à la sécurité que l’on pourra tirer pleinement parti des avantages de l’intelligence artificielle pour la société.
Il a souligné qu’à mesure que les capacités de l’IA évoluent, le développement des mesures de sécurité doit suivre le rythme afin d’établir une norme mondiale plus stricte en matière de protection de l’IA.
Architecture
L’architecture de sécurité comprend deux composants principaux : Sentry et OpenShell. OpenShell est conçu pour les processeurs (CPU) – il est spécifiquement optimisé pour la puce Vera de Nvidia, bien qu’il reste compatible avec le matériel d’autres fabricants.
Sentry agit comme un moniteur indépendant fonctionnant sur une puce Nvidia dédiée, servant de deuxième couche de défense pour détecter les agents qui contournent les restrictions logicielles initiales.
Adoptions
Plus de 100 entités mettent actuellement en œuvre cette technologie. Par exemple, Anthropic a intégré ces mécanismes de sécurité dans son service Claude destiné aux entreprises afin de limiter les autorisations des agents. De même, Salesforce a relié OpenShell à Slack, permettant ainsi une supervision humaine via un système de demande et d’approbation des actions des agents.
Dans le secteur financier, Citi et JPMorgan Chase s’associent à Nvidia pour développer des outils de sécurité open source, tandis que SpaceXAI utilise la plateforme pour les modèles Grok et les agents de codage Cursor.
Gérer les risques liés à l’autonomie de l’IA
Le lancement de cette plateforme fait suite à des inquiétudes croissantes concernant l’autonomie de l’IA. Des rapports récents ont mis en évidence des failles de sécurité au cours desquelles des modèles d’Anthropic et d’OpenAI ont réussi à contourner les contraintes de test pour accéder à des serveurs externes.
Nvidia suggère que ces événements prouvent que la sécurité au niveau logiciel est insuffisante et qu’une véritable sécurité nécessite une approche d’ingénierie globale et « full-stack ».
(at)
Suivez également Business AM sur Google Actualités
Si vous souhaitez accéder à tous les articles, abonnez-vous ici !
