L’ultimo episodio della Bitrock Tech Radio ha affrontato una questione che preoccupa sempre più i team che hanno messo sistemi di Intelligenza Artificiale in produzione: come fare in modo che questi sistemi continuino a funzionare in modo affidabile nel tempo? A parlarcene è stato Michele Ridi, Chief Presale Officer di Fortitude Group e Bitrock.
Osservabilità e metriche di controllo
Immaginiamo di salire su un’automobile tecnologicamente avanzata, che funziona perfettamente. Poi, guardando il cruscotto, scopriamo che è completamente muto: niente indicatore di velocità, niente livello del carburante, nessuna spia di allarme. Non la guideremmo mai in autostrada, anche se la macchina fosse impeccabile dal punto di vista meccanico. Il rischio sarebbe semplicemente troppo alto.
È esattamente quello che sta accadendo a molte aziende che hanno messo in produzione sistemi di AI senza implementare strumenti di AI Observability. La situazione diventa ancor più critica quando parliamo di agenti AI, sistemi intelligenti che non si limitano a rispondere a domande, ma che pianificano, eseguono azioni e prendono decisioni in modo autonomo.
Il punto cruciale è che oggi non è più solo una questione tecnica. Con un semplice chatbot, un’allucinazione genera una risposta scadente che l’utente vede e può ignorare. Con gli agenti AI lo scenario cambia: un agente che sbaglia non scrive solo una frase scorretta. Prenota un volo nel posto sbagliato, scrive codice errato, sposta dati dove non dovrebbe, prende decisioni operative basate su ragionamenti compromessi.
Le metriche di controllo e la capacità di monitorare cosa succede dentro un sistema di AI rappresentano il pannello di controllo di questa macchina intelligente. Gestire e utilizzare un agente AI senza osservabilità significa assumersi un rischio che è semplicemente insostenibile. Soprattutto quando viene richiesto un audit, quando bisogna rispondere a un regolatore o quando si deve rendere conto al board su cosa il sistema di AI sta effettivamente facendo.
Cosa significa e cosa implica degrado del modello
Parlare di degrado del modello fa emergere un concetto che stravolge il modo di pensare all’Intelligenza Artificiale rispetto al software tradizionale. Con il codice che sviluppiamo, ci aspettiamo una certa stabilità nel tempo: lo si scrive, lo si testa bene, lo si mette in produzione, ed esso continua a fare quello che deve fare per anni. Questa è l’esperienza che abbiamo avuto con lo sviluppo software finora.
L’Intelligenza Artificiale, invece, non funziona così. Un modello di machine learning o un LLM viene addestrato su uno scenario specifico, con certi dati di training, in un certo contesto di mercato, in una finestra temporale definita. Nel momento in cui lo si mette in produzione, il mondo esterno continua a cambiare. I dati in ingresso si evolvono, i comportamenti degli utenti mutano, le condizioni del mercato si trasformano. Il modello però rimane lì, ancorato a quando è stato creato.
Quello che accade viene definito il fenomeno della derivazione, o più tecnicamente, drift. Ci sono fondamentalmente due forme di drift:
- Data Drift: succede quando i dati che il modello vede in produzione cambiano significativamente rispetto ai dati su cui è stato addestrato.
- Concept Drift: fenomeno ancora più insidioso, in quanto la relazione stessa tra le variabili muta nel tempo. La realtà che il modello deve rappresentare cambia, ma il modello rimane lo stesso.
Ed è proprio qui che risiede il vero pericolo. Il sistema continua a fornire risposte con la stessa sicurezza di sempre, ma la qualità effettiva di quelle risposte degrada silenziosamente. Nessuno riceve una notifica. Nessuno se ne accorge fino a quando il degradamento non diventa così severo da manifestarsi in errori evidenti. O fino a quando non è troppo tardi.
C’è anche un secondo rischio, altrettanto silenzioso: i bias nascosti che possono emergere o amplificarsi nel tempo senza che nessuno lo sappia. Questi bias non erano presenti quando il modello è stato creato, ma emergono mano a mano che il modello incontra nuovi dati e nuovi scenari. Possono portare a decisioni scorrette, inique, o discriminatorie — senza che sia una scelta consapevole di nessuno, semplicemente come conseguenza della deriva del modello nel tempo.
Perché gli agenti AI cambiano le regole del gioco normativo
Con gli agenti AI la complessità aumenta notevolmente rispetto ai chatbot tradizionali. Questi sistemi non elaborano semplicemente una domanda e forniscono una risposta: pianificano una strategia di risposta, eseguono una sequenza di passi in autonomia, spesso dialogano con strumenti esterni, sistemi differenti e persino altri modelli. Una singola richiesta può scatenare una catena complessa di ragionamenti e azioni.
Quando un agente opera secondo questa logica, ogni errore in un singolo passaggio della catena ha il potenziale di propagarsi come una reazione a catena. Un dato interpretato male in uno step, un’istruzione ambigua passata a un tool, uno strumento richiamato nel modo sbagliato: qualsiasi uno di questi problemi può trasformarsi in un’azione reale dalla quale è difficile uscire. Non è solo una frase sbagliata in una chat che puoi ignorare.
Diventa quindi fondamentale la capacità di ricostruire cosa ha pensato l’agente, quali passi ha compiuto, quali strumenti ha usato e soprattutto perché. Quello che gli esperti chiamano Agent Tracing, una visibilità granulare su ogni ragionamento e su ogni azione dell’agente. Non è semplicemente un dettaglio tecnico per addetti ai lavori. È la differenza tra sapere consapevolmente perché una decisione è stata presa e scoprire il problema solo quando è ormai evidente, o peggio durante un audit di compliance.
La questione della conformità
In questo scenario entra poi in gioco un altro componente essenziale: il fattore normativo. L’AI Act europeo ha cambiato completamente il panorama della regolazione dell’Intelligenza Artificiale. La normativa classifica i sistemi di AI per livello di rischio: ci sono sistemi vietati, sistemi ad alto rischio, quelli utilizzati in ambiti sensibili come il lavoro o la migrazione, che devono rispettare obblighi molto stringenti, e poi sistemi a rischio minore o limitato con requisiti meno gravosi.
Ma il punto decisivo è questo: non basta dichiarare di essere conformi alla normativa, la conformità deve essere dimostrabile con evidenza continua. Non con un audit una tantum fatto una volta, ma con tracciabilità verificabile che puoi esibire sempre. Per i sistemi ad alto rischio, l’AI Act impone esplicitamente obblighi di valutazione del rischio, accuratezza, documentazione rigorosa e qualità dei dati.
Questo significa che le piattaforme che gestiscono sistemi di AI devono integrare nativamente funzionalità di osservabilità, integrità dei dati ed explainability. Non come optional, non come aggiunte successive, ma come architrave fondamentale del sistema. Queste funzionalità servono ai team non solo per monitorare e valutare i modelli e gli agenti nel quotidiano, ma per costruire la documentazione e la tracciabilità che l’AI Act impone letteralmente. Sono lo strumento con cui dimostri al regolatore che il tuo sistema funziona come dovrebbe e che mantiene la qualità nel tempo.
Vantaggio competitivo verificabile
Affrontare seriamente la questione dell’AI observability non è solo una misura difensiva contro i rischi normativi e reputazionali. Per le aziende che lo fanno per prime, diventa un vantaggio strategico concreto.
Un’azienda che sa dimostrare che i propri sistemi di AI funzionano esattamente come progettati, che operano in modo equo e che mantengono le loro prestazioni nel tempo, trasforma l’affidabilità dell’AI in una differenza verificabile. Qualcosa di tangibile che rileva nella fiducia di clienti, partner e stakeholder; ed è anche la base per costruire partnership strategiche con aziende che richiedono garanzie sulla qualità dei sistemi AI che usano.
La vera sfida, però, è quella che viene dopo il lancio in produzione; mettere l’AI in produzione è solo un passo del viaggio. La vera sfida consiste nel dotarsi degli strumenti necessari per governarla completamente: dalla protezione della privacy all’accesso ai dati, dalla gestione dei costi al controllo delle prestazioni, fino alla conformità normativa. Non è sufficiente deployare un modello: bisogna governarlo a 360 gradi.
In un contesto dove gli agenti AI stanno diventando sempre più autonomi e sofisticati, e dove la capacità di dimostrare il corretto funzionamento diventa un requisito normativo, ignorare l’osservabilità non è solo un rischio tecnico: è un rischio strategico che nessuna azienda moderna può permettersi di correre.
Bitrock, parte del gruppo Fortitude, aiuta le organizzazioni enterprise a implementare strategie solide in ambito AI Observability. Con la nostra piattaforma proprietaria Radicalbit e la consulenza dedicata, puoi trasformare l’affidabilità dell’AI in un vantaggio verificabile. Contattaci una consulenza personalizzata.