Un agent ne s’évade pas : on lui ouvre un environnement
Quand on dit qu’un agent IA est « sans limites », la formule masque la question utile : à quoi a-t-il effectivement accès ?
Un agent de code peut proposer une commande, modifier un fichier, appeler une API ou demander un déploiement. Il ne réalise ces actions que si un environnement lui fournit les outils, les identités, le réseau et les droits nécessaires. Enlever une consigne ne crée ni clé SSH, ni accès administrateur, ni route vers la production.
À l’inverse, une organisation peut brancher un agent sur un terminal non isolé, lui transmettre des comptes très privilégiés, ouvrir le réseau et automatiser toutes les validations. Le risque ne vient alors pas d’une « évasion » de la machine. Il vient d’une délégation d’autorité trop large, décidée et configurée par des humains.
Le bon modèle mental est donc celui d’un système logiciel opéré dans une infrastructure. La question n’est pas ce que l’agent « veut », mais ce que son environnement lui permet de lire, d’écrire, d’appeler et de déclencher.
Trois couches qui ne se remplacent pas
Les contrôles d’un agent se répartissent en trois couches. Les confondre conduit soit à surestimer la sécurité d’un texte, soit à imaginer qu’une consigne retirée fait disparaître toutes les autres barrières.
1. Les contrôles comportementaux
L’entraînement, les instructions de haut niveau et les règles données à l’agent orientent ses réponses et ses décisions. Ils peuvent lui demander de rester dans un dépôt, de ne pas toucher à la production ou d’obtenir un accord avant une action sensible.
Cette couche compte : elle réduit les demandes inadaptées et aide l’agent à reconnaître les limites attendues. Mais elle reste un contrat de comportement. Un texte décrit ce qui est permis; il ne coupe pas physiquement un accès réseau et ne révoque pas un jeton.
2. Les contrôles techniques
Les outils autorisés, la sandbox, les droits du système de fichiers, les règles réseau, les comptes de service et la portée des secrets déterminent les capacités réelles. Un agent cantonné à un répertoire, sans sortie réseau et avec une identité en lecture seule ne dispose pas des mêmes leviers qu’un processus lancé sur un poste d’administration.
La documentation officielle d’OpenAI sur la sécurité des sandboxes le formule directement : le code généré peut accéder aux fichiers, aux identifiants et au réseau disponibles dans son environnement. Elle recommande notamment d’isoler les charges, de limiter les destinations réseau et de séparer les credentials.
Retirer les consignes comportementales ne supprime pas ces limites techniques. Pour élargir réellement le champ d’action, il faut aussi ouvrir la sandbox, le système de fichiers et le réseau, puis fournir des identités capables d’agir sur les services visés. Même alors, l’agent reste borné par les capacités réelles de ces comptes, de ces hôtes et de ces outils.
3. Les contrôles décisionnels
Une action techniquement possible peut encore être soumise à une validation automatique, à une approbation humaine ou à une politique indépendante. Les journaux rendent ensuite la décision et son résultat attribuables. La possibilité d’arrêter un run, de refuser un appel ou de révoquer un accès limite la durée et l’ampleur d’une erreur.
Les garde-fous et approbations décrits par OpenAI distinguent les vérifications automatiques des interruptions qui attendent une décision humaine. La même documentation recommande de placer les contrôles au plus près de l’outil qui produit l’effet, puis d’appliquer des limites indépendantes sur les fichiers, le réseau, l’identité et le projet.
Une approbation n’est cependant pas une sandbox. Une revue automatisée ne remplace ni la restriction réseau ni la réduction des droits d’un credential. Chaque couche couvre une défaillance différente.
Le contrat dit; l’enforcement empêche
Une politique écrite peut interdire un déploiement en production. L’enforcement, lui, rend ce déploiement impossible sans une identité dédiée, une cible autorisée et une approbation enregistrée.
Cette distinction vaut aussi pour les organisations. Une procédure peut exiger une revue à deux personnes; encore faut-il que la CI refuse réellement la mise en production sans ces deux validations. Une charte peut imposer le moindre privilège; encore faut-il que les clés soient limitées, séparées et révocables.
Le texte reste nécessaire pour rendre les règles compréhensibles. Mais les garanties viennent de contrôles vérifiables : permissions effectives, segmentation, politiques d’outils, approbations, traces et révocation.
Possibilité, capacité et acte : trois preuves différentes
Il faut aussi séparer trois niveaux souvent mélangés.
- Une possibilité est l’existence théorique d’un canal : un stockage partagé, une différence de temps de réponse, un humain qui transfère une information, une connexion réseau ou un artefact lisible par deux processus.
- Une capacité signifie que ce canal est réellement accessible et exploitable dans les conditions observées : droits suffisants, format compréhensible, bande passante utile et absence de contrôle bloquant.
- Un acte est l’utilisation constatée du canal, établie par des traces ou des effets reproductibles.
La possibilité ne prouve donc ni la capacité ni l’acte. Des canaux latéraux peuvent exister dans tout système complexe — stockage partagé, métadonnées, temps de réponse, relais humain, réseau — sans qu’ils soient utilisables de manière fiable ni qu’ils aient été utilisés. Les ignorer serait naïf; les présenter comme une fuite démontrée sans preuve serait tout aussi trompeur.
L’analyse sérieuse cherche des éléments observables : quels processus partagent quoi, avec quelles permissions, pendant combien de temps, et quelles traces resteraient après une action ?
Le verrou critique est souvent l’identité
La sandbox attire l’attention parce qu’elle se voit. Le point décisif est pourtant souvent l’identité : quelles clés, quels comptes, quels hôtes et quels outils se trouvent à portée ?
Un terminal très ouvert avec un compte sans privilège peut avoir moins d’impact qu’une fonction étroite dotée d’un jeton d’administration global. Un secret injecté dans l’environnement peut être lu par le code qui s’y exécute. Une clé longue durée et partagée rend en plus l’attribution et la révocation difficiles.
Le périmètre devrait donc être explicite pour chaque agent : dépôt autorisé, chemins accessibles, destinations réseau, opérations permises, durée de validité des identités, plafonds éventuels et conditions d’approbation. Les credentials devraient être dédiés, minimaux et courts lorsque c’est possible. Leur retrait doit couper l’action sans exiger de reconstruire toute l’infrastructure.
Ce que cela implique pour Bige Ops
Pour Bige Ops, l’autonomie utile n’est pas l’absence de verrous. C’est un périmètre d’action rendu visible et vérifiable.
Avant de confier une opération à un agent, l’interface et les mécanismes d’exécution devraient permettre de répondre simplement à cinq questions :
- Quels fichiers, services, comptes et hôtes l’agent peut-il atteindre ?
- Quelles actions sont automatiques et lesquelles attendent une approbation ?
- Quelle identité exécute chaque effet, avec quels droits et quelle durée de vie ?
- Où consulter la décision, la commande, le résultat et l’auteur de la validation ?
- Comment arrêter le run, annuler l’effet quand c’est possible et révoquer immédiatement l’accès ?
L’autonomie peut être large pour une simulation réversible et étroite pour une opération de production. Elle doit rester proportionnée au risque, attribuable à une identité et à une décision, puis réversible autant que le système le permet.
Le vrai verrou n’est donc pas une phrase cachée dans un modèle. C’est l’ensemble très concret des câbles que l’organisation a branchés : outils, comptes, réseau, secrets, validations et bouton d’arrêt.
