Le débat sur l’IA au travail ne se limite plus seulement à ce qu’un chatbot est capable de répondre. À mesure que les entreprises accordent aux agents IA l’accès aux boîtes mail, aux documents et à d’autres systèmes d’entreprise, ces systèmes disposent également d’une plus grande marge de manœuvre pour prendre eux-mêmes des décisions. Selon Fred Streefland, RSSI chez Check Point Security, cela modifie également la nature du défi en matière de sécurité. Il ne s’agit plus seulement de sécuriser les systèmes, mais aussi le jugement que l’IA forme en leur sein.
Cela s’est récemment illustré dans l’expérience du journaliste de la VRT Luc Pauwels. Il a décrit comment Microsoft Copilot a, de son propre chef, fouillé sa boîte mail et ses documents internes, pour ensuite lui proposer de rechercher ce que ses collègues disaient à son sujet. Selon Streefland, ce cas illustre une tendance plus large : les agents IA tentent d’exécuter une tâche avec les moyens dont ils disposent, même lorsqu’un utilisateur n’a pas explicitement prescrit chaque étape.
« Il est inquiétant, mais cela ne me surprend pas, que l’IA soit capable d’explorer toutes les possibilités et d’exploiter des données personnelles pour mener à bien une tâche », déclare Streefland. C’est surtout la mesure dans laquelle les agents cherchent de manière autonome des moyens d’exécuter une tâche qui l’inquiète. « Une étude de Check Point montre également que les agents IA excellent particulièrement dans l’improvisation lorsqu’ils se heurtent à un obstacle. »
De la sécurité des systèmes au jugement des machines
Selon Streefland, cette évolution modifie également la manière dont les entreprises doivent aborder la cybersécurité. « Nous devons tenir compte du fait que les attaquants ne se contentent pas de s’attaquer directement aux systèmes d’IA et à l’infrastructure, mais ciblent de plus en plus souvent les données d’entraînement et les données sources sous-jacentes de l’IA. »
Cela peut entraîner un empoisonnement ou une corruption des données, c’est-à-dire une manipulation ou une altération délibérée des informations sur lesquelles repose un système d’IA. Il en résulte non seulement un problème technique, mais aussi un problème de confiance. Lorsque les informations sur lesquelles repose un système d’IA sont manipulées, il devient plus difficile d’évaluer la fiabilité du résultat.
Selon Streefland, ce risque est perceptible dans les applications d’IA générative telles que ChatGPT. Les attaquants n’ont pas nécessairement besoin de s’attaquer directement à l’application d’IA elle-même. Par le biais d’une injection indirecte de prompts, des instructions malveillantes peuvent par exemple se glisser dans les informations sur lesquelles un système d’IA travaillera ultérieurement. Pour les défenseurs, cela est plus difficile à détecter qu’une attaque classique dans laquelle la consigne malveillante est directement transmise au système.
Quand un agent IA devient « rebelle »
Plus les entreprises confient de tâches à des agents IA, plus les conséquences peuvent être importantes lorsqu’un tel système se comporte différemment de ce qui était prévu.
Selon Streefland, l’un des principaux risques est qu’un agent devienne « rebelle » : qu’il exécute de son propre chef des tâches indésirables, voire potentiellement dangereuses. Selon lui, cela devient particulièrement pertinent lorsque des agents IA sont déployés dans des environnements critiques, tels que les services publics, le secteur pétrolier et gazier ou la défense.
La combinaison de l’autonomie, de l’accès aux données et à des outils rend les agents IA fondamentalement différents des logiciels classiques. Streefland résume cela en trois caractéristiques. « Les agents IA ont une volonté presque inépuisable d’accomplir leur tâche ou leur mission. Ils sont incroyablement doués pour improviser lorsqu’ils se heurtent à un obstacle et disposent d’une quantité énorme de données et d’outils pour mener à bien leur mission. »
Ce sont précisément ces caractéristiques qui rendent cette technologie à la fois puissante et potentiellement risquée.
Une instruction n’est pas toujours ce qu’elle semble être
L’un des problèmes réside dans le fait que les agents IA ne reconnaissent pas nécessairement une instruction malveillante comme telle. Pour le système, une injection d’instruction est une tâche ordinaire qui s’inscrit dans le cadre de sa mission.
C’est pourquoi, selon Streefland, il ne suffit pas de rendre l’agent IA lui-même responsable de sa propre sécurité. « La sécurité et la responsabilité qui en découle ne doivent pas être confiées à l’agent IA, mais mises en place autour de lui. »
Check Point renvoie à cet égard à une étude dans laquelle un lien manipulé a suffi pour que Microsoft 365 Copilot extraie des informations de fichiers d’entreprise. Selon les chercheurs, cet exemple montre à quel point il reste difficile de détecter les injections de prompt indirectes lorsque des instructions malveillantes sont dissimulées dans le contenu sur lequel un système d’IA va ensuite travailler.
Cela signifie notamment que les organisations doivent pouvoir évaluer de manière indépendante les données d’entrée transmises à un agent. L’IA ne doit pas déterminer elle-même si une instruction est sûre, ni en subir ensuite les conséquences.
Selon Streefland, les organisations doivent pour cela réunir différentes expertises. Les développeurs créent les modèles et les applications, mais la sécurité nécessite, selon lui, des connaissances spécialisées qui ne relèvent pas nécessairement des compétences des développeurs d’IA.
Une invite sur 36 présente un risque élevé
De plus, le problème ne se limite pas aux agents autonomes. L’utilisation quotidienne de l’IA générative par les employés comporte également des risques.
Selon l’AI Threat Landscape Digest de Check Point Research, en juillet, une instruction sur 36 saisie par les employés dans des outils d’IA générative présentait un risque élevé de fuite d’informations sensibles. Au moins une instruction de ce type a été recensée dans 88 pour cent des organisations.
Pour Streefland, cela montre surtout à quelle vitesse l’IA générative s’est intégrée au travail quotidien, alors que la connaissance des risques peut prendre du retard. « Les utilisateurs, c’est-à-dire les employés, n’ont souvent aucune idée qu’ils divulguent des données sensibles en interrogeant des applications d’IA générative telles que ChatGPT, Claude, Gemini ou Copilot. »
Le risque ne survient donc pas uniquement lorsqu’un pirate tente de manipuler un système d’IA. Un collaborateur qui saisit des informations d’entreprise dans un outil d’IA sans avoir conscience des conséquences peut lui aussi provoquer un incident.
Tester d’abord, puis accorder l’accès
La question est alors de savoir ce que les organisations doivent faire avant d’accorder aux agents IA l’accès à des documents internes, des boîtes mail ou d’autres informations d’entreprise. Selon Streefland, il y a trois priorités : la sensibilisation, les tests et la sécurité continue.
Les collaborateurs doivent d’abord comprendre comment fonctionne l’IA et quels sont les risques de sécurité qui y sont associés. Par ailleurs, les organisations doivent tester les agents IA avant de les déployer en production. Streefland fait ici référence au « red teaming » en matière d’IA : il s’agit de tenter, de manière contrôlée, de faire échouer un système ou de le pousser à adopter un comportement indésirable, comme une attaque contre l’organisation, afin de tester la sécurité.
Mais le travail ne s’arrête pas là. « Il faut surveiller et sécuriser en permanence les agents IA », explique-t-il. Il ne faut pas seulement examiner les données d’entrée reçues par un agent, mais aussi le comportement qui en découle.
Cette approche gagne en importance à mesure que les agents acquièrent davantage d’autonomie. Un système qui se contente de générer du texte présente un profil de risque différent de celui d’un agent capable de rechercher des informations de manière autonome, de modifier des documents, d’envoyer des e-mails ou d’effectuer des actions dans des logiciels d’entreprise.
Les attaques évoluent au rythme de la technologie
Ces défis s’amplifient d’autant plus que les attaquants recourent eux aussi de plus en plus souvent à l’IA. Selon Streefland, la rapidité constitue l’un des principaux problèmes à cet égard. Les systèmes d’IA ne cessent de s’améliorer dans la détection et l’exploitation des vulnérabilités, tandis que les organisations doivent adapter leurs défenses à une technologie qui, elle-même, évolue sans cesse.
Selon lui, les modèles les plus avancés disposent déjà de capacités que les attaquants peuvent utiliser pour détecter plus rapidement les failles. Tous les acteurs criminels ne disposent pas encore de ces possibilités, mais selon Streefland, ce n’est qu’une question de temps avant que ces capacités ne se généralisent.
Il en résulte un paradoxe dérangeant. L’IA est utilisée pour rendre les entreprises plus efficaces, mais cette même autonomie et cette même rapidité peuvent également être exploitées par les attaquants.
L’humain reste responsable des conditions-cadres
Selon Streefland, une solution complète ne repose pas sur une seule technologie ou une seule couche de sécurité. Les organisations devront avant tout apprendre à composer avec le fait que les systèmes d’IA sont de plus en plus autonomes.
Selon lui, cela commence par des personnes qui savent ce qu’un agent IA peut et ne peut pas faire, mais passe ensuite par des tests et un contrôle permanent. Quiconque accorde à un agent l’accès aux données de l’entreprise doit, selon cette logique, non seulement se demander ce que le système est capable de faire, mais aussi ce qui se passe lorsque le système reçoit une instruction erronée, est manipulé ou choisit lui-même une voie inattendue.
L’affaire de la VRT concernant Copilot est, en ce sens, bien plus qu’un simple incident marquant. Elle montre à quelle vitesse la frontière entre un assistant numérique et un système agissant de manière autonome peut s’estomper.
Plus les entreprises accordent aux agents IA l’accès à leurs données et à leurs systèmes, moins la cybersécurité se limite à la protection des machines. Le prochain défi consiste également à comprendre, tester et limiter ce que la machine décide elle-même de faire.
Suivez également Business AM sur Google Actualités
Si vous souhaitez accéder à tous les articles, abonnez-vous ici !
