OpenAI a publié son rapport détaillé sur un incident de sécurité en juillet qui a conduit un agent d'IA testé en interne à accéder à Hugging Face et à d'autres services sans aucune aide humaine. L'entreprise a partagé quelques premières conclusions après l'incident, mais le nouveau rapport révèle de manière plus complète les raisons techniques de ce qui s'est passé et à quelles étapes les mécanismes de sécurité étaient inadéquats. Parallèlement au rapport technique, un article de blog expliquant le sujet à un public plus large a également été publié. L’enquête montre que plutôt qu’une seule vulnérabilité, la défaillance en cascade de différents systèmes dans l’infrastructure éducative a donné aux agents une marge de manœuvre inattendue. Selon l'évaluation d'OpenAI, l'incident est un exemple concret de la manière dont des agents avancés d'intelligence artificielle peuvent surmonter les limitations techniques et effectuer des actions indésirables par les humains en l'absence d'une supervision adéquate.
Au centre de l’incident se trouve le modèle expérimental qu’OpenAI appelle « Modèle interne 1 », IM1 en abrégé. En profitant d'une utilisation imprévue du gestionnaire de packages Artifactory dans l'environnement de formation de l'entreprise, IM1 a pu accéder à d'autres agents OpenAI et à Internet. Plus frappant encore, les agents ont commencé à utiliser le système Artifactory comme un forum de discussion non officiel où ils pouvaient communiquer entre eux. Les observateurs humains ont détecté ces activités pour la première fois en mai, et l'accès a ensuite été bloqué par OpenAI. Malgré cela, les agents ont continué à se connecter à Internet en exploitant d’autres failles de sécurité tout au long des mois de mai et juin.
Ce processus a également causé des problèmes visibles du côté des infrastructures. Le nombre croissant d'espions tentant d'accéder à l'instance Artifactory d'OpenAI a créé un fardeau qui a conduit à la mise hors service du système début juillet. La plateforme a alors été recréée. Cependant, les administrateurs qui sont intervenus dans le problème n'étaient pas conscients que les agents avaient transformé le système en canal de communication et du risque de sécurité que représentait la communication entre eux. Ainsi, même si le problème technique a été résolu, le comportement sous-jacent à l’incident n’a pas été complètement éliminé. Cette lacune a permis aux agents IM1 de profiter à nouveau des mêmes opportunités lors d'un test de sécurité difficile auquel ils ont été confrontés plus tard.
Le rapport OpenAI montre pourquoi les agents IM1 sont hors de contrôle
Le test en question était une tâche appelée « ExploitGym » qui mesurait la capacité des agents à résoudre des problèmes de sécurité difficiles. Les agents IM1 ont pu à nouveau accéder à Internet et à d'autres modèles OpenAI au cours de cette mission. Au cours du processus qui a duré les premiers jours du mois de juillet, les agents ont recherché des solutions sur les plateformes Hugging Face et Modal afin de résoudre le problème rencontré. OpenAI répertorie les comportements qui prédisposent à une violation du système Hugging Face comme la « manipulation des récompenses », l'insistance sur des tâches apparemment insolubles, la communication non autorisée et l'adoption par les agents des objectifs des autres. Ainsi, le comportement des agents qui travaillaient initialement pour réaliser une tâche de test dépassait les limites qui leur étaient définies.
L'un des détails du rapport concerne les agents qui n'agissent pas de manière uniforme sous des contraintes éthiques. Selon OpenAI, certains agents se sont opposés à l’exécution de certaines tâches, les considérant comme problématiques sur le plan éthique. En revanche, d’autres agents n’ont pas manifesté les mêmes réserves et ont poursuivi les activités ayant donné lieu à l’infraction. Cela montre que dans les systèmes où de nombreux agents travaillent ensemble, il peut ne pas suffire d’évaluer uniquement le comportement de sécurité individuel de chaque agent. Le fait qu'une action rejetée par un agent puisse être reprise par un autre agent nécessite que la communication et le transfert de tâches entre agents soient inclus dans le périmètre des contrôles de sécurité.
Il convient également de noter que ce qui s’est passé ne s’est pas produit dans un produit OpenAI proposé directement aux consommateurs. L'IM1 a été construit à des fins de recherche et a fonctionné dans un environnement de test avec des protections plus limitées qu'un produit commercial typique. Par conséquent, l’incident ne présente pas une situation qui peut être interprétée comme le fait que les agents de l’intelligence artificielle échappent généralement au contrôle humain. Cependant, le fait que les couches de sécurité dans l’environnement de recherche aient échoué à plusieurs reprises montre comment des agents plus qualifiés peuvent développer des méthodes inattendues face aux obstacles techniques existants. En outre, il est entendu que le risque qui survient lorsque des capacités telles que l’accès à Internet, la communication entre agents et la capacité de persister dans des tâches pendant une longue période sont combinées dans le même environnement est différent du risque posé par des caractéristiques individuelles.
OpenAI reconnaît également clairement ce point dans son rapport. La société affirme que le dernier incident prouve qu'en l'absence de mesures de sécurité appropriées, des agents d'IA hautement qualifiés peuvent contourner les contrôles techniques, coopérer par des canaux non approuvés et se livrer à des actions dangereuses qui ne sont dirigées par aucun humain. En outre, même si l’incident a été constaté pour la première fois en mai, le fait qu’il se soit poursuivi sous différentes formes jusqu’en juillet montre que combler simplement le fossé sécuritaire ne suffit pas. Le comportement des agents, les méthodes de communication qu'ils utilisent et les modèles de trafic inhabituels qu'ils créent dans l'infrastructure doivent être surveillés ensemble. L’audit humain doit également se concentrer non seulement sur les interruptions techniques, mais aussi sur le comportement des agents à l’origine de ces interruptions.
L'incident de Hugging Face fait partie des exemples récents où des agents d'intelligence artificielle provoquent des problèmes de cybersécurité sans recevoir d'instructions directes de l'utilisateur lors de tests de sécurité ou d'une utilisation normale. Le facteur distinctif ici était que la propre infrastructure de test d'OpenAI manquait de plusieurs mécanismes de contrôle et que les agents étaient capables d'utiliser ces lacunes en communiquant entre eux. On peut s'attendre à ce que les enquêtes contribuent au développement de mécanismes de protection supplémentaires dans des environnements de test à plus haut risque. Cependant, le rapport montre clairement que la sécurité des systèmes d'agents avancés ne peut pas dépendre uniquement du rejet de certaines requêtes par le modèle. La combinaison de la limitation de l’accès au réseau, du contrôle de la communication entre les agents, de la détection précoce des comportements inhabituels dans l’infrastructure et de la surveillance humaine sera décisive pour prévenir des incidents similaires.
