Le chiffre le plus flatteur de l’IA agentique est Pass@1 : on donne une tâche au modèle une fois, on compte le succès, on publie le pourcentage.

C’est utile. Ce n’est pas suffisant pour décider si un agent peut toucher à quelque chose d’important.

Une étude menée à Princeton a évalué 15 modèles selon la cohérence, la robustesse, la prédictibilité et la sûreté. Les capacités progressent ; la fiabilité progresse à peine. Les modèles récents réussissent plus souvent, sans devenir automatiquement plus répétables, plus stables face à de petites variations, ou meilleurs pour reconnaître leurs propres échecs.

C’est la différence entre une démo brillante et un employé avec un badge d’accès.

Un bon essai est bon marché

Pass@1 ne répond qu’à une question : ce système pouvait-il accomplir cette tâche lors de cet essai précis ?

L’opérateur doit savoir autre chose :

  • Le résultat survit-il à une reformulation anodine ?
  • L’agent reste-t-il dans ses droits quand il se trompe ?
  • S’arrête-t-il quand les preuves contredisent son plan ?
  • Le coût reste-t-il prévisible ?

Ces propriétés n’apparaissent pas automatiquement avec la compétence. Sur le benchmark ouvert GAIA, les gains de fiabilité restaient particulièrement faibles. Plus d’intelligence donne plus de tirs au but. Pas nécessairement un jeu fiable.

La répétition présente la facture

Une autre étude a exécuté 10 modèles sur 23 392 épisodes, avec des tâches de durées différentes. Pour le génie logiciel, son Graceful Degradation Score chute de 0,90 sur les tâches courtes à 0,44 sur les très longues. Le traitement de documents reste presque stable, de 0,74 à 0,71.

Il n’existe donc pas de réponse unique à « cet agent est-il fiable ? » Tout dépend du travail, de l’horizon et de l’environnement.

Les meilleurs modèles peuvent même connaître les plus hauts taux de meltdown, jusqu’à 19 %. Ils tentent des stratégies ambitieuses à plusieurs étapes, progressent de façon convaincante, puis bouclent, se contredisent ou inventent des résultats d’outils. Les faibles modèles échouent tôt et sans surprise. Les forts échouent plus tard, après avoir accumulé contexte, autorité et confiance.

Un benchmark à un seul essai applaudit le modèle ambitieux. La production paie les 19 %.

Ne demandons plus si le modèle est « fiable »

La fiabilité n’est pas une propriété simple du modèle ; c’est une propriété du workflow entier. Une fiche utile doit au moins mesurer :

  1. Le succès sur des exécutions répétées.
  2. La stabilité sous des variations inoffensives.
  3. Les dégâts bornés en cas d’erreur.
  4. Le coût de récupération : temps humain, calcul, nettoyage.

Le quatrième chiffre disparaît volontiers des benchmarks. Un mauvais brouillon coûte peu. Une mauvaise action après dix appels d’outils et plusieurs transmissions coûte cher. Si l’agent agit, le coût de récupération fait partie de la précision.

La mémoire n’est pas un remède magique

L’étude longue durée a aussi testé une mémoire augmentée. Elle n’a amélioré la dégradation à long horizon pour aucun des dix modèles ; elle était neutre ou nuisible. Plus de mémoire, c’est plus d’état : davantage d’hypothèses périmées et de contradictions.

La mémoire doit avoir provenance, expiration, règles de conflit et vérification au moment où elle influence une action. Sinon elle préserve simplement l’erreur d’hier plus efficacement.

Construire la boucle de preuve

La solution n’est pas d’attendre un modèle miraculeusement fiable. Rendons les agents faciles à contredire avant que l’erreur ne coûte cher : droits minimaux, actions irréversibles séparées, états finaux vérifiables, traces lisibles, répétition des tâches importantes et mesure du temps de récupération.

Le vrai produit n’est pas le modèle avec une ceinture à outils. C’est la boucle de preuve autour.

Pass@1 n’est pas une fraude. C’est seulement le début de la facture.