Avertissement critique de Microsoft : les agents d'intelligence artificielle peuvent constituer une menace au sein de l'organisation

Dans son dernier rapport Cyber ​​​​Pulse, Microsoft a averti que les agents d'intelligence artificielle, qui se généralisent rapidement sur les lieux de travail, pourraient créer une nouvelle catégorie de menaces internes. Selon l'entreprise, un assistant en intelligence artificielle travaillant au sein de l'organisation peut être manipulé par des personnes malveillantes et transformé en « agent double ». Dans ce scénario, les attaquants peuvent abuser des droits d'accès de l'agent ou endommager les données et les flux de travail au sein de l'organisation en induisant le système en erreur avec des entrées peu fiables. Microsoft affirme que le problème ne vient pas du fait que l’intelligence artificielle est nouvelle, mais du fait que les mécanismes de contrôle et d’audit ne sont pas appliqués de la même manière.

Selon l'évaluation de l'entreprise, les agents d'intelligence artificielle sont rapidement déployés dans de nombreux secteurs. Cependant, certaines applications commencent à être utilisées sans être examinées par les équipes informatiques, et les équipes de sécurité peuvent ne pas être en mesure de voir exactement quel agent accède à quelles données. Cette invisibilité présente un plus grand risque, surtout lorsqu'il s'agit d'agents capables de conserver des souvenirs et d'agir de manière autonome. En fait, lors d’une récente campagne de fraude enquêtée par l’équipe Microsoft Defender, les informations contextuelles stockées d’un assistant d’intelligence artificielle ont été manipulées en utilisant la méthode de « l’empoisonnement de la mémoire ». Grâce à cette intervention, les réponses ultérieures ont été manipulées et les résultats du système ont été déformés.

Microsoft considère les agents IA comme une classe « d’identité numérique »

Un autre problème souligné dans le rapport est que la rapidité de la distribution l'emporte sur les mesures de sécurité. Alors que les organisations déploient rapidement des agents dans le but d’augmenter la productivité, les contrôles de sécurité et de conformité peuvent passer au second plan. Cela conduit à l’utilisation indépendante d’outils d’intelligence artificielle non approuvés par les employés, définis comme « shadow AI ». Selon les données d'une recherche fournie par Microsoft, 29 % des employés ont utilisé des agents d'intelligence artificielle non approuvés pour leurs tâches professionnelles. Cette situation rend difficile une intervention précoce et rend difficile la détection de manipulations malveillantes.

D’un autre côté, la menace ne se limite pas à taper une mauvaise commande. L’empoisonnement de la mémoire se présente comme une méthode d’attaque persistante ; Les changements de contexte néfastes introduits dans le système peuvent affecter les réponses des agents au fil du temps et éroder la confiance dans l’institution. L'AI Red Team de Microsoft a également constaté que les agents peuvent être trompés par des éléments d'interface trompeurs. Des instructions nuisibles cachées dans le contenu quotidien ou des invites qui modifient subtilement le cadre de la tâche peuvent entraîner le processus de raisonnement de l'agent dans une direction différente. Même si ces manipulations peuvent paraître banales à première vue, leurs effets peuvent atteindre des dimensions graves.

Microsoft soutient que les agents IA devraient être traités comme une nouvelle classe d’identités numériques, et non comme un simple module complémentaire logiciel. Dans ce contexte, il est recommandé d’adopter l’approche Zero Trust. Maintenir une authentification stricte, limiter les droits d’accès selon le principe du moindre privilège et surveiller en permanence les comportements font partie des précautions de base. En outre, il est précisé que tous les agents doivent être inventoriés au moyen d'outils de gestion centraux et qu'il convient de déterminer clairement à quels systèmes ils ont accès.

Alors que les investissements des entreprises en matière d’intelligence artificielle augmentent, l’incapacité à renforcer l’architecture de sécurité au même rythme élargit la surface des risques. Malgré cela, il semble possible de réduire les menaces grâce à des politiques d’accès correctement configurées et des mécanismes de surveillance continue. Avant qu'un nouvel agent ne soit déployé, les experts recommandent de cartographier les données auxquelles il accédera, de supprimer les autorisations inutiles et d'installer des systèmes de surveillance capables de détecter les manipulations d'instructions. Des déploiements rapides sans bases de sécurité claires peuvent créer des vulnérabilités imprévues dans l'infrastructure de l'entreprise.