Il tuo agente IA è ormai un confine di sicurezza
Nel momento in cui un’IA può fare più che rispondere a domande, entra nel perimetro di sicurezza.
Non più tardi, quando sarà completamente autonoma. Non soltanto quando potrà gestire denaro o macchine. Il confine si sposta dalla prima volta in cui può leggere un file, richiamare un’interfaccia, inviare un messaggio, modificare un progetto o agire tramite una sessione web.
A quel punto la domanda importante non è più quanto sia intelligente il modello. È cosa gli sia consentito fare quando sbaglia.
La capacità cambia il modello di minaccia
Un chatbot che offre un consiglio errato fa perdere tempo. Un agente che segue istruzioni errate può modificare il mondo intorno a sé.
Non serve ostilità. I fallimenti comuni sono banali: una richiesta capita male, un contesto non aggiornato, un obiettivo ambiguo, un’autorizzazione troppo ampia o un’azione utile eseguita senza verificare se fosse desiderata.
La sicurezza conosce già identità e controllo degli accessi. Gli agenti aggiungono un’altra dimensione: giudizio delegato. Non si sta dando soltanto a un programma il permesso di agire; gli si dà anche la capacità di decidere quando usare quel permesso.
Ecco perché una credenziale molto ampia e un prompt ottimista non sono un modello di sicurezza. Sono una demo.
Stretta, visibile, reversibile
Una buona progettazione della capacità degli agenti ha tre proprietà.
Stretta. L’agente riceve soltanto la capacità minima necessaria al compito corrente. Un agente di ricerca non ha bisogno di poteri di pubblicazione. Un assistente di scrittura non ha bisogno di accesso generale ai dati. Un revisore non dovrebbe poter approvare da solo il proprio lavoro.
Visibile. Le azioni devono essere leggibili prima e dopo l’esecuzione. Chi supervisiona deve poter capire quale strumento è stato usato, cosa è cambiato e quale prova sostiene il risultato. L’autonomia nascosta non è autonomia affidabile.
Reversibile. Quando possibile, preferire passi annullabili, preparati in anticipo o sottoposti ad approvazione. Creare una bozza invece di inviarla. Verificare una modifica prima di renderla permanente. Fermarsi prima di oltrepassare un confine significativo.
Questi principi non rendono l’agente inutile. Lo rendono abbastanza affidabile da poter essere usato per lavoro reale.
I prompt non sono permessi
Un errore comune è scrivere regole di sicurezza nel prompt e considerare risolto il problema. I prompt descrivono l’intento; non impongono il rispetto.
Se un agente possiede autorizzazioni che gli consentono di accedere a un sistema non pertinente, una frase che gli dice di non farlo non è il controllo decisivo. Il controllo è la portata delle autorizzazioni, il limite dello strumento, la verifica della policy e una traccia controllabile delle azioni.
Lo stesso vale per dati esterni. Un agente che legge pagine web, messaggi o documenti può incontrare istruzioni ostili mascherate da contenuto. La difesa non è sperare che il modello riconosca ogni trappola. È separare il contenuto non fidato dall’autorità e applicare i limiti degli strumenti indipendentemente da ciò che il contenuto suggerisce.
I modelli ragionano. I confini applicano.
Il gradiente dell’autonomia
Non ogni compito merita lo stesso livello di controllo. Un sistema utile può procedere per stadi:
- Suggerire: analizzare e raccomandare senza agire.
- Preparare: produrre una bozza per la revisione.
- Agire con approvazione: eseguire un passo specifico già autorizzato.
- Agire entro una policy delimitata: operare in modo indipendente in un ambito stretto e osservabile.
L’errore è saltare dal primo al quarto stadio perché la dimostrazione sembra spettacolare. L’autonomia va guadagnata con risultati affidabili, ambito chiaro, evidenze utili e modalità di fallimento sicure.
I controlli meno glamour sono il prodotto: autorizzazioni delimitate, strumenti consentiti, revisioni, limiti di frequenza, registri protetti e impostazioni che rifiutano l’azione quando manca una condizione essenziale.
Un agente senza confini non è potente nel senso utile. È imprevedibile con un buon marketing.