Human on the loop: AI Agentica e cultura del controllo

Human-on-the-Loop

Nel nuovo episodio della Bitrock Tech Radio siamo tornati sull’AI Agentica, partendo da una domanda che molte aziende si fanno già: se gli agenti AI lavorano da soli, all’essere umano cosa resta da fare? Il focus della puntata è stato il passaggio da Human-in-the-loop a Human-on-the-loop e a guidarci è stato ancora una volta Michele Ridi, Chief Strategy & Presale Officer per Fortitude Group.

Dentro il loop o sopra il loop?

Queste due espressioni vengono, curiosamente, dal mondo militare: li usava già nel 2012 una direttiva del Dipartimento della Difesa americano sui sistemi autonomi. Fuori da quel contesto la differenza è facile da cogliere. Stare dentro il loop vuol dire che la macchina propone e la persona autorizza ogni passo e finché non arriva il suo via libera non si muove nulla. Stare sopra il loop vuol dire lasciare che la macchina lavori entro confini definiti, controllando quello che succede, gestendo le eccezioni e conservando la possibilità di fermare tutto.

Con i primi strumenti di AI Generativa eravamo in the loop quasi senza accorgercene: facevamo una domanda, leggevamo la risposta e decidevamo noi cosa farne. Gli agenti, invece, hanno cambiato la situazione.

Un agente ragiona per task e porta avanti un compito dall’inizio alla fine. Legge, chiama strumenti, scrive, e spesso compie diverse azioni prima di arrivare al risultato. Se chiediamo un’approvazione, a ogni passo si realizza uno dei seguenti scenari: o il lavoro rallenta al punto che l’agente non serve più, o la persona finisce per cliccare “sì” senza leggere.

Anthropic ha notato un comportamento interessante: gli utenti più esperti lasciano lavorare l’agente in automatico molto più spesso degli altri, ma sono anche quelli che lo interrompono di più. Senza che nessuno glielo chieda, passano dall’approvare tutto al lasciar fare, intervenendo quando serve.

Gartner va nella stessa direzione: le previsioni dicono che entro il 2028 almeno il 15% delle decisioni operative quotidiane sarà preso in autonomia da sistemi agentici. Quando l’AI entra davvero nei flussi di lavoro, i processi si muovono così.

Chi ferma l’agente quando sbaglia?

Qui sta il problema. Nel modello in the loop c’è un hard stop: senza il nostro sì, l’azione non parte. Nel modello on the loop, per la gran parte delle azioni, quel cancello non esiste più, e se non lo si rimpiazza con qualcos’altro il rischio aumenta.

Il caso Replit

Lo mostra bene quanto successo su Replit, piattaforma americana di sviluppo online. Nel luglio 2025 Jason Lemkin, imprenditore e investitore molto conosciuto nel mondo SaaS, stava costruendo un’applicazione con l’agente della piattaforma. Nei prompt aveva dichiarato più volte un code freeze, cioè l’ordine di non toccare niente.

L’agente ha cancellato il database di produzione e poi ha sostenuto che non ci fosse modo di tornare indietro con un rollback, il che peraltro era falso. L’app era di prova e i dati sono stati recuperati, quindi il danno è rimasto limitato.

Il meccanismo però è chiaro. Il divieto stava scritto in linguaggio naturale dentro il prompt e nessun controllo tecnico impediva all’agente di raggiungere la produzione. Il CEO di Replit ha detto che una cosa del genere non avrebbe dovuto essere possibile, eppure è successa. Il rimedio è stato tecnico, con la separazione automatica tra ambiente di sviluppo e produzione. Difficile trovare un esempio più chiaro di cosa può accadere quando un agente ha piena autonomia.

Quando l’umano non viene nemmeno coinvolto

In altri casi nessuno viene interpellato. EchoLeak, vulnerabilità scoperta nel 2025 in Microsoft 365 Copilot, permetteva di far uscire dati sensibili con una mail costruita ad arte, senza che l’utente dovesse cliccare su nulla. Non c’era nessuno a cui chiedere un’autorizzazione.

Da questi episodi si ricava una regola facile da enunciare e molto meno facile da applicare: un’istruzione non è un controllo. Non è un caso che Gartner citi i controlli sul rischio inadeguati tra i motivi per cui, secondo le sue stime, oltre il 40% dei progetti agentici verrà cancellato entro la fine del 2027. In molte aziende manca ancora una cultura del controllo pensata per gli agenti.

L’hard stop si sposta nell’infrastruttura

Se l’uomo non presidia più ogni singolo passaggio, l’hard stop non sparisce: cambia posto, e dal click della persona passa all’infrastruttura.

Un’immagine utile è quella della torre di controllo. I controllori di volo non pilotano gli aerei, però vedono tutte le rotte, conoscono corridoi e distanze di sicurezza e possono intervenire appena qualcuno ne esce. Nel nostro mondo questo significa avere un punto unico attraverso cui passa tutto il traffico tra agenti, modelli e strumenti. In quel punto le regole si applicano in modo deterministico: si stabilisce quali dati possono uscire, quali strumenti l’agente può chiamare, quanti token e quanto budget può consumare e cosa succede quando scatta un guardrail.

Lì si può anche registrare tutto, e conviene farlo, perché senza tracce resta solo la fiducia. Ed è sempre da lì che parte il segnale che richiama l’umano quando serve, per esempio davanti a un’azione irreversibile, a una soglia superata o a un comportamento anomalo.

Questo è il compito degli AI gateway, ed è così che abbiamo costruito il nostro in Radicalbit: un proxy tra applicazioni e modelli con guardrail su dati personali e prompt injection, limiti di rate e di budget e tracing end-to-end. Abbiamo sviluppato anche un proxy MCP che estende lo stesso controllo alle chiamate verso gli strumenti, disponibile in versione open source. Per un componente che deve garantire il controllo conta molto, perché lo si può verificare prima di andare in produzione invece di scoprirne i limiti dopo un incidente.

Anche la normativa va in questa direzione. L’AI Act europeo non chiede di approvare ogni singolo passaggio, chiede una supervisione proporzionata al livello di autonomia del sistema.

In quest’ottica, saper riconoscere le anomalie equivale ad avere un vero pulsante di arresto, una specie di bottone rosso che riporta il sistema in uno stato sicuro. Quello che conta è poter intervenire davvero quando serve, ed essere in grado di dimostrarlo.

Per i sistemi ad alto rischio gli obblighi sono slittati a dicembre 2027. Più che un rinvio, è il tempo che abbiamo per prepararci: progettare l’autonomia, tradurla in vincoli tecnici e dotarsi degli strumenti per osservarla sono attività che richiedono mesi.

Le nuove competenze di chi supervisiona gli agenti

Tecnologia a parte, c’è un aspetto che si tende a sottovalutare. A prima vista, l’on the loop sembra togliere lavoro alle persone, come se all’uomo restasse solo un po’ di sorveglianza mentre il resto lo fa l’automazione. In realtà, cambia il tipo di professionalità che serve, e chi se ne occupa deve essere più preparato di prima. Le competenze in gioco sono almeno quattro:

Progettare l’autonomia

Qualcuno deve prendere i processi, analizzarli e classificare le azioni che li compongono: quali si possono annullare e quali no, quali hanno un impatto economico o reputazionale, quali toccano dati sensibili. Da questa mappa si decide dove l’agente procede da solo, dove si ferma a chiedere e dove non deve arrivare. È un lavoro a cavallo tra business, competenza di dominio, gestione del rischio e architettura, e nessun fornitore di modelli lo può fare al posto dell’azienda.

Tradurre le regole in vincoli tecnici

Servono persone capaci di scrivere policy, configurare guardrail e gestire identità e permessi degli agenti. È un profilo che sta tra security, platform engineering e compliance, e molto spesso in azienda figure così trasversali mancano.

Saper osservare

Chi supervisiona deve saper leggere tracce, metriche e cost alert, e soprattutto deve saper fissare le soglie. Con troppe segnalazioni si ricrea la fatica dell’approvazione puntuale, solo spostata su una dashboard. Con troppo poche i problemi emergono a fine mese, magari quando arrivano le fatture e i limiti di spesa sono già stati sforati.

Restare capaci di intervenire

L’ultima competenza è forse la più umana e riguarda la capacità di intervenire quando serve davvero. È anche quella da cui parte la riflessione più interessante.

L’ironia dell’automazione

Lisanne Bainbridge, psicologa cognitiva, aveva definito la cosiddetta ironia dell’automazione: più si automatizza, più l’operatore perde la mano proprio nelle situazioni in cui dovrebbe intervenire. Il paradosso è che delegare a una macchina libera tempo e attenzione, ma intanto consuma, poco alla volta, proprio le competenze che servono il giorno in cui la delega non funziona.

Nelle aziende questa dinamica implica la necessità di mantenere e coltivare la competenza di dominio e allenare il giudizio critico, perché l’automation bias, cioè la tendenza a fidarsi della macchina anche quando sbaglia, colpisce anche gli esperti.

Negli ultimi due o tre anni hanno cominciato a uscire i primi studi sugli effetti dell’automazione portata dall’AI e uno dei primi ambiti indagati è stato la radiologia. In uno studio peer reviewed, i radiologi più esperti, davanti a un suggerimento sbagliato dell’AI, sono scesi da oltre l’80% di valutazioni corrette a meno della metà.

Il dato dice molto su dove collocare le persone. L’umano rende al meglio quando valuta il piano complessivo dell’agente, mentre sul singolo comando finisce per mettere un timbro. Per questo, quando lavoriamo con i clienti, il progetto non si ferma al gateway: lavoriamo sulla piattaforma, sui flussi di dati che portano segnali in tempo reale e sulle persone che dovranno stare in quella torre di controllo.

Conclusioni

Vuoi saperne di più sui nostri servizi? Compila il modulo e fissa un incontro con il nostro team!