Nessuna anteprima disponibile per questo eBook.
In questo articolo
C'è una differenza semplice fra un assistente conversazionale e un agente, e sta tutta in un verbo.
Al primo chiedi di scriverti una risposta, e lui te la scrive. Poi la leggi, la correggi, la mandi tu. Al secondo chiedi di rispondere: se gli hai dato accesso alla casella e il permesso di inviare, legge, prepara e preme invio. Se l’invio non richiede una conferma, nessuno ha riletto niente.
Il modello linguistico può essere lo stesso. Cambia che adesso ha delle credenziali.
Quando l’AI passa dal preparare una bozza all’agire sui sistemi aziendali, cambia anche quello che devi misurare. Oltre alla qualità della risposta contano le azioni che compie, le condizioni in cui le compie e le conseguenze di un errore.
Dove funzionano, oggi
Cominciamo da quello che è solido, perché c'è ed è utile.
Un buon primo compito per un agente è ristretto, con confini chiari e pochi strumenti, verificabile, con un risultato che puoi controllare, e reversibile, così puoi correggere un errore senza danni duraturi.
Nello sviluppo di software, compilazione e test danno riscontri rapidi e il controllo di versione permette di tornare indietro. Un agente può tentare una correzione e riprovare. I test coprono quello che hai previsto di controllare, e la revisione del risultato resta importante. Qui il guadagno è reale e lo vedo tutti i giorni.
Vale lo stesso per compiti come estrarre dati strutturati da documenti disordinati, o attraversare archivi lunghi cercando le poche cose pertinenti: operazioni dove la verifica costa poco e l'errore non è definitivo.
Il guaio arriva quando si toglie una di quelle tre condizioni. Un agente che manda email a clienti veri agisce in modo non reversibile. Un agente che decide una priorità commerciale produce un risultato che nessuno sa verificare in automatico. E lì il discorso cambia.
Dove si rompono
Ci sono tre problemi da tenere presenti quando un agente può agire sui sistemi.
I permessi. Un agente opera con un’identità tecnica o con autorizzazioni delegate. Se gli serve leggere una cartella e gli dai accesso all’intero archivio, ogni errore può coinvolgere più dati del necessario.
La velocità. Un agente può ripetere lo stesso errore su molti casi prima che qualcuno se ne accorga. Il rischio aumenta con il numero di operazioni che gli lasci fare senza una verifica intermedia.
La tracciabilità. È il punto che mi colpisce di più, perché somiglia a un problema che conosco. Quando un agente fa qualcosa di inatteso, spesso si riesce a vedere *cosa* ha fatto, ma non cosa aveva letto nel momento in cui ha deciso, né quale strumento ha interrogato, né in che ordine. Manca il registro delle condizioni in cui la decisione è stata presa.
In laboratorio, una misura senza le sue condizioni non è una misura sbagliata: è una misura che non puoi usare, perché non la puoi ricostruire. Un'azione di un agente senza il suo contesto è esattamente la stessa cosa.
Sui numeri che leggi in giro, un avvertimento
Cercando materiale per questo articolo ho trovato molte percentuali e quasi nessuna fonte primaria.
Si legge che una certa quota di aziende ha già subito un incidente legato a un agente, che una certa percentuale condivide le credenziali fra agenti diversi, che il costo medio di un incidente è di qualche milione. Alcune di queste cifre vengono da indagini serie. Molte circolano di articolo in articolo senza che sia possibile risalire a chi ha misurato cosa, su quante aziende, con quale definizione di «incidente».
Tra chi pubblica queste cifre ci sono aziende che vendono strumenti per affrontare il problema che stanno quantificando.
Prima di usare una percentuale per prendere una decisione, voglio sapere quali casi sono stati contati, in quale campione e con quale definizione di incidente. Senza quei dettagli è difficile capire se il numero vale anche per la tua azienda.
Quando qualcuno ti presenta un numero su questo tema, la domanda da fare è sempre la stessa: chi l'ha misurato, su che cosa, e cosa ci guadagna.
Cosa farei prima di metterne uno al lavoro
Quattro cose, in ordine, e nessuna richiede tecnologia particolare.
Un'identità per ciascuno. Ogni agente con le proprie credenziali, mai condivise con altri agenti o con persone. Senza questo, quando qualcosa va storto non si riesce nemmeno a stabilire chi è stato.
Il minimo indispensabile. Si parte dai permessi più stretti possibili e si allarga quando serve, non il contrario. È noioso e funziona.
Un registro che includa l’ingresso. Conserva le informazioni necessarie per ricostruire l’azione: lo strumento usato, il contesto rilevante, le eventuali approvazioni e l’esito. Credenziali e dati riservati vanno esclusi o protetti.
Prima le cose che si possono disfare. I primi compiti affidati a un agente dovrebbero essere tutti reversibili. Le azioni definitive — mandare, pagare, cancellare, pubblicare — si aggiungono dopo, una alla volta, e per un po' con qualcuno che conferma.
Il perimetro
Questo articolo descrive meccanismi, non fornisce una valutazione di sicurezza: ogni organizzazione ha la propria superficie di rischio, e per quella serve un'analisi specifica fatta da chi conosce i vostri sistemi.
Quello che posso dire con qualche fondamento è l'ultima cosa, ed è anche il motivo per cui questo tema mi interessa. Un agente è uno strumento di misura al contrario: invece di leggere il mondo, lo modifica. Ma vale la stessa regola, e vale da molto prima che esistesse l'intelligenza artificiale.
Di uno strumento non ti fidi perché è potente. Ti fidi quando sai in che condizioni lavora, entro quali limiti, e cosa succede quando esce da quei limiti.
Per approfondire: OWASP, guida alla sicurezza degli agenti AI.




Commenti
Ancora nessun commento. Il primo può essere il tuo.