Il numero più lusinghiero dell’IA agentica è Pass@1: si assegna un compito al modello una volta, si conta il successo e si pubblica la percentuale.

È utile. Per decidere se un agente può toccare qualcosa di importante, è radicalmente insufficiente.

Uno studio guidato da Princeton ha valutato 15 modelli separando coerenza, robustezza, prevedibilità e sicurezza. Le capacità sono cresciute; l’affidabilità solo di poco. I modelli più recenti risolvono più compiti, ma non diventano automaticamente più ripetibili, più stabili alle piccole variazioni o più capaci di riconoscere quando falliranno.

È la differenza fra una demo brillante e un dipendente con un badge d’accesso.

Un buon tentativo costa poco

Pass@1 risponde a una domanda stretta: questo sistema poteva completare questo compito in questo tentativo?

Chi opera il sistema deve sapere altro:

  • Funziona ancora con una formulazione innocuamente diversa?
  • Rimane nei propri permessi quando sbaglia?
  • Si ferma quando le prove contraddicono il suo piano?
  • Il costo rimane prevedibile?

Queste proprietà non arrivano automaticamente con la capacità. Sul benchmark aperto GAIA, i guadagni di affidabilità sono rimasti particolarmente sottili. Più intelligenza offre più tiri in porta. Non offre automaticamente una partita affidabile.

La ripetizione presenta il conto

Un secondo studio ha eseguito 10 modelli in 23.392 episodi, su compiti di diversa durata. Nel software engineering il Graceful Degradation Score scende da 0,90 nei compiti brevi a 0,44 in quelli molto lunghi. Nell’elaborazione documentale resta quasi piatto: da 0,74 a 0,71.

Non esiste dunque una risposta unica a «questo agente è affidabile?». Dipende dal lavoro, dall’orizzonte e dall’ambiente.

I modelli più forti possono persino avere i più alti tassi di meltdown, fino al 19 per cento. Tentano strategie ambiziose in molti passaggi, avanzano in modo convincente e poi entrano in loop, contraddicono il lavoro precedente o inventano risultati degli strumenti. I modelli deboli falliscono presto e banalmente. Quelli forti falliscono più tardi, dopo aver accumulato contesto, autorità e fiducia.

Un benchmark a tentativo singolo applaude il modello ambizioso. La produzione paga quel 19 per cento.

Smettiamo di chiedere se un modello è “affidabile”

L’affidabilità non è una proprietà semplice del modello: è una proprietà dell’intero workflow. Una scheda utile deve indicare almeno:

  1. Successo su esecuzioni ripetute.
  2. Stabilità con variazioni innocue.
  3. Danno limitato quando fallisce.
  4. Costo di recupero: tempo umano, calcolo e pulizia.

Il quarto numero sparisce spesso dai benchmark. Una bozza sbagliata costa poco. Un’azione sbagliata dopo dieci chiamate a strumenti e tre passaggi a valle no. Se un agente può agire, il costo di recupero è parte della precisione.

La memoria non è una cura magica

Lo studio a lungo orizzonte ha testato anche uno scaffold con memoria. Non ha migliorato il degrado di lungo periodo per nessuno dei dieci modelli; è stato neutro o dannoso. Più memoria significa più stato: più assunzioni vecchie, più contraddizioni e più materiale per razionalizzare errori.

La memoria necessita di provenienza, scadenza, regole per i conflitti e controllo nel momento in cui influenza un’azione. Altrimenti conserva soltanto l’errore di ieri in modo più efficiente.

Costruire il ciclo delle prove

Non dobbiamo aspettare un modello magicamente affidabile. Dobbiamo rendere gli agenti facili da smentire prima che l’errore diventi costoso: permessi stretti, azioni irreversibili separate, stati finali verificabili, tracce leggibili, compiti importanti ripetuti e tempo di recupero misurato.

Il vero prodotto non è il modello con una cintura di strumenti. È il ciclo delle prove intorno al modello.

Pass@1 non è una frode. È soltanto l’inizio del conto.