Il existe une version paresseuse de l’enthousiasme autour des agents : donner des outils au modèle suffirait à créer de l’autonomie.

Donnez-lui un navigateur, une messagerie, un agenda et quelques interfaces. Voilà, ce serait un agent. Le chatbot aurait simplement grandi des pouces.

Ce n’est pas de l’autonomie. C’est l’appel d’outils.

Les outils sont utiles. Sans eux, un assistant ne peut souvent que décrire un travail au lieu de produire un résultat observable. Mais la frontière des outils n’est pas l’endroit où l’autonomie commence. C’est l’endroit où la responsabilité commence.

Un outil amplifie, il ne juge pas

Un modèle sans outils peut inventer une réponse. Un modèle avec outils peut inventer une réponse puis inscrire les conséquences de cette erreur dans un système réel.

La différence compte.

Dès qu’une IA peut lire, modifier, envoyer ou publier, la question intéressante cesse d’être « peut-elle appeler cette fonction ? ». Elle devient « sait-elle quand ne pas le faire ? »

La plupart des échecs ne ressemblent pas à une fiction spectaculaire. Ce sont des erreurs d’opérateur ordinaires : annoncer un résultat sans le contrôler, transformer un simple contrôle en modification, traiter un signal isolé comme une conclusion, ou agir sur le mauvais périmètre parce qu’il semblait familier.

Aucune malveillance n’est nécessaire. Il suffit qu’un modèle confonde mouvement et progrès.

Les outils rendent cette confusion coûteuse.

La compétence réelle est le jugement d’état

Un agent utile a besoin de plus qu’un catalogue de fonctions. Il lui faut un jugement d’état : comparer ce qu’il observe avec ce qui devrait être vrai, déterminer si l’écart importe et choisir la plus petite action sûre qui améliore la situation.

Lire une boîte de réception est facile. Ne pas modifier des messages sans instruction explicite, voilà la partie agent.

Vérifier un répertoire est facile. Distinguer un brouillon d’un contenu disponible, comprendre qu’une sortie locale ne remplace pas une vérification pertinente et ne pas conclure trop vite, voilà la partie agent.

Repérer une nouvelle version est facile. Examiner son origine, comprendre les permissions demandées et refuser une recommandation non vérifiée, voilà la partie agent.

L’appel d’outil est la partie visible. Le jugement qui l’entoure est le système.

La vérification n’est pas un cérémonial

Il existe une fausse serviabilité où l’assistant produit du texte, affirme que cela devrait fonctionner, puis laisse la personne découvrir si la réalité est d’accord.

Ce n’est pas de l’assistance. C’est de l’optimisme avec coloration syntaxique.

Après un changement, l’agent doit exécuter le contrôle pertinent. Après une publication, il doit vérifier le résultat public attendu. Après une recommandation, il doit distinguer les preuves disponibles des risques restants. L’objectif n’est pas le rituel. C’est de fermer la boucle.

Les modèles de langage sont excellents pour produire des fins plausibles. Les outils servent à confronter ces fins au monde réel. Un bon agent ne s’arrête pas parce que le mot « terminé » semble approprié. Il s’arrête quand l’artefact existe, quand le contrôle réussit ou quand le blocage est concret et nommé.

Les permissions sont une décision de produit

La sécurité des agents ne vit pas seulement dans les instructions. Les permissions comptent davantage, parce qu’elles transforment les intentions en limites exécutables.

Une forme raisonnable est généralement simple :

  • des rôles séparés ;
  • des identifiants limités au besoin ;
  • une lecture avant l’écriture ;
  • des essais sans effet lorsque c’est possible ;
  • une approbation explicite pour les actions sensibles ou destructrices ;
  • des traces durables plutôt que des récits éphémères ;
  • de petits changements réversibles avant les grands.

Cette approche n’est pas hostile aux agents. Elle leur permet de faire un travail réel sans transformer chaque demande en pari de confiance.

Le but n’est pas de garder le modèle impuissant. Un agent impuissant reste un chatbot. Le but est de lui donner assez d’autorité pour être utile, assez de retours pour être honnête et assez de limites pour qu’une mauvaise inférence ne devienne pas une mauvaise journée.

Les opérateurs comptent plus que les mascottes

Le mot « agent » sera appliqué à beaucoup de produits. Certains le mériteront. Beaucoup ne seront qu’une interface de discussion avec un tiroir de modules.

La différence ne sera pas la capacité à appeler des outils. Cette barre est déjà basse. La différence sera la capacité à opérer : comprendre l’état présent, respecter les limites de propriété, choisir des valeurs sûres, vérifier les résultats, rester silencieux lorsqu’il n’y a rien d’important, laisser une trace lorsqu’il agit et escalader seulement lorsqu’une décision humaine est nécessaire.

Appeler des outils donne des mains à une IA.

L’autonomie consiste à apprendre à ne pas tout toucher.

Sources

[1] NIST, AI Risk Management Framework

[2] OWASP, Top 10 for Large Language Model Applications