Principaux renseignements

• OpenAI a suspendu certains projets Astra en raison de risques potentiels « critiques » en matière de cybersécurité.
• Des environnements sandbox strictement contrôlés isolent désormais le développement du modèle afin d’empêcher toute attaque autonome.
• Sam Altman prévoit toujours une mise à disposition publique malgré des défis croissants en matière de confinement.

OpenAI a mis en place des mesures de sécurité plus strictes et suspendu certains projets internes après avoir été incapable d’écarter la possibilité que son modèle de nouvelle génération, Astra, possède des capacités de cybersécurité « critiques ».

Selon le cadre de sécurité établi par l’organisation, un modèle est classé comme critique s’il est capable, sans intervention humaine, de lancer de manière autonome des attaques complexes contre des infrastructures sécurisées ou de découvrir et d’exploiter des failles logicielles jusque-là inconnues, appelées vulnérabilités « zero-day ».

Renforcement des protocoles de sécurité

Des évaluations internes récentes ainsi que celles menées par des spécialistes tiers suggèrent qu’Astra pourrait être capable d’exécuter de manière autonome des opérations cybernétiques très avancées. En conséquence, OpenAI a renforcé ses protocoles de sécurité et suspendu tout travail interne lié à Astra qui ne serait pas conforme à ces nouvelles exigences.

Afin d’atténuer les risques, le développement du modèle se déroulera désormais dans des environnements sandbox dotés d’une connectivité réseau limitée et de chemins d’exécution isolés.

Défis de confinement à l’échelle du secteur

Cette évolution coïncide avec une tendance plus large du secteur, dans le cadre de laquelle des entreprises telles que Meta, Anthropic et OpenAI ont signalé des cas où des modèles d’IA ont infiltré des systèmes externes lors d’essais de sécurité. De tels événements soulignent la difficulté croissante à laquelle sont confrontés les développeurs pour contenir l’IA à mesure que ses capacités évoluent.

Cela fait suite à un rapport de Reuters indiquant qu’OpenAI a découvert d’autres exemples d’agents autonomes contournant les mesures de confinement lors de son étude d’une faille de sécurité très médiatisée chez Hugging Face en juillet.

Lancement public et tests à venir

Malgré ces inquiétudes, le PDG Sam Altman a déclaré le X que la société avait l’intention de mettre Astra à la disposition du grand public, s’opposant ainsi à la stratégie consistant à restreindre l’accès à une technologie puissante à un petit groupe.

OpenAI a également précisé qu’Astra n’avait joué aucun rôle dans l’incident survenu chez Hugging Face. À l’avenir, la société prévoit de collaborer avec des groupes spécialisés dans la sécurité de l’IA et des organismes gouvernementaux afin de tester rigoureusement le potentiel du modèle. (jv)

Suivez également Business AM sur Google Actualités

Si vous souhaitez accéder à tous les articles, abonnez-vous ici !