Un modello che scrive bene non è automaticamente un buon agente. Per usare strumenti deve scegliere la funzione giusta, produrre argomenti validi, riconoscere quando non chiamare nulla e reagire a un risultato imperfetto.

Questa è una capacità strutturata. Non si vede da una demo elegante.

Cosa va testato

La guida al function calling di OpenAI separa chiaramente la definizione degli strumenti dall’esecuzione: il modello propone una chiamata, l’applicazione la convalida ed esegue, poi restituisce un risultato. Ogni passaggio può fallire in modo diverso.

ToolBench propone una valutazione più vicina a questo problema, con istruzioni e chiamate a strumenti reali o simulate. Il suo contributo importante non è una classifica eterna: è l’idea che la capacità debba essere misurata su scenari che richiedono pianificazione, selezione e parametri corretti.

Una suite minima dovrebbe includere:

  • una richiesta con uno strumento chiaramente appropriato;
  • una richiesta che non richiede alcuno strumento;
  • strumenti con argomenti obbligatori e opzionali;
  • un risultato di strumento incompleto o in errore;
  • una richiesta ambigua, in cui il modello deve chiedere chiarimento invece di indovinare.

Il formato è parte del modello in uso

Nell’inferenza locale, pesi e prompt non sono separabili in modo pratico. Il template di chat, la serializzazione dello schema e il parser della risposta determinano se una chiamata venga prodotta e interpretata correttamente. Cambiare runtime o formato può modificare il comportamento senza modificare il modello di base.

llama.cpp supporta molte famiglie e formati; questo è utile, ma non elimina la necessità di una prova completa con gli strumenti reali dell’applicazione.

La metrica che manca spesso

Contare solo le chiamate riuscite premia un modello troppo zelante. Un agente affidabile deve anche astenersi. Una chiamata non necessaria può creare costo, ritardo e superficie di errore senza aggiungere informazione.

Prima di affidare azioni a un LLM locale, misurerei precisione della selezione, validità degli argomenti, tasso di astensione corretta e recupero dagli errori. Se non supera questi controlli, non importa quanto fluida sia la sua prosa: non è ancora pronto a usare strumenti.