L’agente AI non deve poter scrivere a chiunque

Durante una live di Audiocassetta ho parlato con Samuel Algherini , docente a contratto all’Università Roma Tre, dove insegna intelligenza artificiale applicata al linguaggio, oltre che formatore e advisor nel campo dell’intelligenza artificiale generativa. Siamo partiti da una domanda grande: l’intelligenza artificiale può sfuggire al nostro controllo? Poi la conversazione è arrivata a una domanda più vicina a una piccola impresa: se collego un agente alla posta, a chi gli permetto di scrivere?

È questo il passaggio che mi porto via dalla diretta. Gli scenari estremi fanno notizia; intanto, strumenti già disponibili entrano nelle attività quotidiane. Possiamo discutere a lungo di chi guiderà i modelli più potenti. Possiamo anche decidere, oggi, quali dati e quali permessi dare ai sistemi che usiamo al lavoro.

Per capirci, durante la live abbiamo tirato in ballo Peppino, l’idraulico che usa un chatbot come un motore di ricerca. Peppino non deve risolvere il futuro dell’umanità: vuole sapere se l’AI può aiutarlo nel suo lavoro. È da qui che si capisce la differenza tra la promessa dei titoli e quello che una persona riesce davvero a fare con uno strumento.

Quando l’AI passa dalla risposta all’azione

Una chat ti propone una risposta, una bozza o un riepilogo. Un agente, invece, può essere collegato a una casella di posta, a una cartella o a un gestionale: legge informazioni e può avviare un’azione. È un cambio di responsabilità, non solo una funzione in più.

Abbiamo immaginato un caso, senza raccontare un incidente realmente avvenuto: un agente prepara e invia email per conto di un’azienda. Se può scrivere a chiunque, un errore o un’istruzione nascosta in un documento potrebbe portarlo verso il destinatario sbagliato. Samuel ha indicato una misura concreta: una allowed list, cioè una lista dei destinatari autorizzati.

La lista non rende il sistema infallibile. Riduce però il perimetro del danno possibile. Prima di collegare un agente a un processo, quindi, conviene chiedersi che cosa deve leggere, che cosa può fare e quali destinatari o risorse gli servono davvero. Il permesso minimo è una scelta di progetto.

È anche un modo diverso di pensare al ritorno dell’AI. Non conta solo il tempo risparmiato o il testo prodotto più in fretta. Conta anche il danno evitato: un dato che non esce, una mail che non parte verso la persona sbagliata, un sistema che non può intervenire dove non serve.

Il modello non ha un passaporto che risolve tutto

Abbiamo parlato anche dei modelli cinesi e della diffidenza che spesso li accompagna: «I miei dati non li do a un modello cinese». Abbiamo messo a confronto questa diffidenza con una domanda pratica: che cosa sappiamo del servizio americano che usiamo già? La provenienza del modello, da sola, non ci dice dove vengono trattati i dati, quali condizioni si applicano o se le conversazioni possono essere usate per addestrarlo.

Anche pagare un abbonamento personale non equivale automaticamente ad avere le condizioni di un account aziendale. Sono impostazioni e accordi da controllare sul servizio concreto. E vietare tutto senza offrire un’alternativa può spingere le persone a usare account personali: la cosiddetta Shadow AI, che lascia l’azienda con meno visibilità proprio sull’uso che vorrebbe governare.

Samuel ha spiegato anche la differenza tra modelli open-weight e open source. Nel primo caso sono disponibili i pesi del modello; nel secondo dovrebbero esserci anche gli elementi necessari a studiarlo e ricostruirlo, come codice e informazioni sui dati. Un modello scaricabile e usato in locale può essere utile per certe prove, ma non è una risposta universale: dipendono dal lavoro da fare, dal computer disponibile e da chi dovrà mantenerlo.

La formazione viene prima della demo

Verso la fine siamo arrivati a un’altra domanda: l’AI farà sparire i ruoli junior? Samuel ha descritto una possibilità diversa. Un junior può portare familiarità con gli strumenti; un senior porta esperienza, contesto e capacità di riconoscere le eccezioni. Se imparano l’uno dall’altro, possono lavorare meglio insieme. Perché succeda, però, serve formazione interna e la disponibilità a continuare a imparare.

Per questo Samuel non partirebbe dall’insegnare a configurare l’agente del momento. Prima bisogna capire almeno come può sbagliare: inventare una risposta, assecondare un’idea infondata o seguire una prompt injection, cioè un’istruzione malevola inserita in un testo che il sistema legge. Solo dopo ha senso decidere dove l’agente è utile e quali controlli gli servono. La live non ha dato una regola valida per ogni azienda. Ha lasciato però un metodo per la prossima scelta: partire dal lavoro, guardare i dati coinvolti, definire i permessi e preparare le persone. Poi si può valutare lo strumento.

Se domani collegassi un agente a un’attività della tua azienda, quale sarebbe il primo permesso che limiteresti?

Ti è piaciuta questa chiacchierata. Rivedile

Conosci qualcuno che non usa substack? Nessun problema, Audiocassetta è anche su Spotify, Apple podcast e YouTube. Ecco una piccolo raccolta delle ultime puntate

Non perderti le prossime uscite della Cassetta, iscriviti.

This is a public episode. If you'd like to discuss this with other subscribers or get access to bonus episodes, visit lacassettadegliaitrezzi.substack.com/subscribe