Con questa intervista a Fosca Giannotti, professore ordinario alla Scuola Normale Superiore di Pisa, Fondazione Giannino Bassetti prosegue la serie di dialoghi su Responsabilità e Intelligenza Artificiale iniziata con Guido Boella. Fosca Giannotti è una scienziata pioniera nel data mining della mobilità, della data science per l’analisi dei fenomeni sociali e dell’intelligenza artificiale umana. Direttrice del Knowledge Discovery and Data Mining Laboratory, fondato nel 1994, uno dei primi centri di ricerca sul data mining, è anche il “principal investigator” del progetto ERC XAI – Science and technology for the explanation of AI decision making. Nel 2019 è stata indicata come una delle diciannove donne che hanno ispirato l’AI, Big Data, Data Science, Machine Learning da KDnuggets.com, il sito web leader negli Stati Uniti su AI, Data Mining e Machine Learning.

• Nel 2019 lo European Research Council (ERC) le ha assegnato un finanziamento da 2,5 milioni di euro in 5 anni per sostenere un progetto di ricerca sull’eXplainable AI. Un dato ulteriore per attestare quanto sia necessaria un’Ia “spiegabile”, trasparente, interpretabile… Eppure, l’eXplainable AI (XAI) è ancora poco nota, presentata come un sottocampo dell’AI, in contrapposizione all’Ia della black box… è così? Oppure ci indica un altro modo per fare innovazione? Un diverso approccio di fare ricerca Ia?

La ricerca sull’eXplainable AI (XAI) risale al 2016 anche se è diventato un tema “caldo” più recentemente. Il progetto DARPA del Dipartimenfo di Difesa degli Usa per esempio risale proprio a quell’anno: il 2015 è stato un punto di svolta per capire la necessità di XAI. L’analisi dei dati e l’apprendimento automatico avevano appena sperimentato un decennio di rapidi progressi dopo la rivoluzionaria dimostrazione di ImageNet nel 2012 (fonte). Anche il processo intrapreso dall’Unione Europea nel 2018 con l’AI Act rientra nella necessità di avere quell’approccio Human Centered che è alla base delle tecnologie XAI. Detto questo, la ricerca che perseguiamo dal 2018 nel progetto ERC XAI: Science and Technology for AI based Decision Making non fa altro che rispondere al “diritto di spiegazione” già presente nella GDPR europea, ovvero rendere trasparente e umanamente comprensibile la logica per cui si arriva a una raccomandazione, che sia per l’ottenimento di un credito o l’indicazione per un viaggio (supporto decisionale).

• E cosa significa questo dal punto di vista tecnologico?

Significa fornire alle macchine che si alimentano con i dati la capacità di aumentare le loro risposte a una domanda con spiegazioni che possono avere forme diverse a seconda dell’utente: possono evidenziare, con giustificazioni statistiche e/o visuali, e/o con esempi, gli elementi peculiari del perché quella risposta a quella domanda. La mia area di ricerca ha appunto prodotto strumenti per equipaggiare queste macchine con “spiegatori” che all’utente finale si rivelano come un arricchimento del suggerimento ricevuto. Se per esempio inserisco i dati per avere una copertura assicurativa o un mutuo, devo sapere il perché li ottengo o, in caso contrario, cosa potrei fare per raggiungere i requisiti. Si chiama spiegazione contrastiva che in pratica risponde alla domanda “Perché E piuttosto che F”? Poi dovremmo anche sapere il livello di incertezza delle risposte e avere la possibilità di richiedere una sorta di “supplemento di indagine”. Il fine ultimo è quello di costruire un rapporto di fiducia tra macchina e l’utilizzatore, ma anche con lo sviluppatore che, capendo come funziona l’algoritmo, diventa in grado di ispezionarlo. Aumentare la conversazione con la macchina è la vera frontiera della XAI che cerca, in definitiva, di espandere il senso critico di chi la utilizza, immaginando l’utente come un soggetto che possa contestare la raccomandazione ricevuta e non si fida ciecamente dell’algoritmo.

• In questo modo,  la scatola nera, la “black box” sarebbe aperta. Eppure, come afferma Guido Boella nell’intervista pubblicata sul sito di Fondazione Bassetti, i dati su cui le macchine hanno appreso sono così tanti e complessi che risalire e chiarire il processo decisionale è ormai impossibile. Cosa risponde?

L’intelligenza artificiale che supporta decisioni è essenzialmente discriminativa, ovvero il processo decisionale messo in atto predice, rispetto a una certa decisione, quale sarebbe il passo migliore per una determinata scelta piuttosto che un’altra. È quello che succede nell’ambito della diagnostica, della finanza o della giustizia. Il nostro medico, per ora però, non avrà Chat Gpt, ma macchine anche molto potenti e complesse di Ia predittiva che imparano da dati le cui caratteristiche devono essere ben note e trasparenti: non si può rischiare che abbiano appreso da informazioni non inerenti al caso sotto osservazione. Un esempio: se uso un sistema per riconoscere se una macchia sulla pelle è sospetta, se la macchina ha imparato solo da esempi di pelle chiara, potrebbe dare un suggerimento sbagliato: per questo la ricerca XAI va di pari passo con le metodologie di buon disegno di un sistema per rendere robusto e trasparente il processo decisionale, e non è poco… . Per concludere: intanto facciamo bene quello che sappiamo fare affinché aumenti l’adozione di strumenti di intelligenza artificiale in contesti decisionali difficili, e per aumentare le capacità di decidere dell’essere umano ma senza sostituirlo.

• E per l’intelligenza artificiale generativa? 

È importante chiarire una cosa: l’intelligenza artificiale generativa è una tecnica di apprendimento che ha come obiettivo non discriminare (cioè capire quale è la decisione migliore), ma comprendere come sono fatti i dati. Avere imparato questo permette la generazione di altri dati non esistenti nel nostro insieme di dati di partenza, ma molto plausibili rispetto a quelli di partenza. Queste tecniche possono avere molteplici usi e la ricerca li sta studiando da vari punti di vista, ma la vera esplosione è avvenuta con i modelli generativi tipo ChatGPT che hanno imparato dai miliardi di contenuti disponibili su web, libri etc. Si tratta quindi di modelli enormemente complessi, che hanno imparato a generare contenuti testuali (o immagini) molto plausibili, anche se non necessariamente veritieri. La cosa più preoccupante però, è che non è chiaro quale dovrebbe essere il percorso robusto e trasparente per supportare usi non ingannevoli. I modelli generativi come ChatGPT sono per ora così complessi che non è possibile spiegare perché il dato è stato generato, né è interesse di queste grandi compagnie “aprire la scatola” o supportare il disegno di sistemi trasparenti. Su questi modelli, che chiamiamo pre-allenati (su tutto il web ed oltre) è possibile costruire delle personalizzazioni su dei contenuti ad hoc, ad esempio tutti gli studi danteschi. Questo ci permette di costruire un ChatGPT esperto di Dante, ma non sapremo mai il perché di quello che ci racconta … magari per verificare o approfondire noi stessi… È stato quindi irresponsabile inserire sul mercato una tecnologia non robusta. Una forzatura che ha avuto il risultato di rendere il dibattito pervasivo, per cui poi risulta difficile tornare sui propri passi.

• Eppure, ora siamo in una fase in cui alcuni rischi  sono già stati recepiti…

Sì, lo dimostra il più recente Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence della Casa Bianca, e lo stesso AI Act in cui già si specifica che, qualsiasi tecnologia, deve essere concepita “ by design”, ovvero integrando una valutazione del rischio fin dall’inizio… E anche l’UNESCO, che ha riunito i ministri dell’istruzione per esplorare opportunità, sfide e rischi immediati dell’IA sui sistemi educativi, lo scorso settembre ha lanciato le prime linee guida internazionali sull’Ia generativa per l’istruzione e la ricerca; possiamo, ad esempio, pretendere il controllo delle sorgenti per ogni testo, anche se sono “troppe”; e possiamo usare l’AI watermarking, tecnica che prevede l’incorporazione di indicatori digitali in modelli di apprendimento automatico o set di dati per distinguere cosa è prodotto da un essere umano o da un’intelligenza artificiale generativa…. Possiamo anche decidere che se una tecnologia non è abbastanza affidabile per noi, non può entrare nel mercato europeo… non vedo perché lo Stato, la società debba accettare acriticamente le azioni di queste grandi aziende. Il lancio di Open AI ha dato un nuovo stimolo alla regolamentazione e naturalmente alla ricerca dell’intelligenza artificiale ed anche della XAI e a come  re-inventare tecnologie così complesse con un approccio trusworthy by design.

• Mi sta dicendo che il primo passo è uscire da un certo inevitabilismo tecnologico?

Esatto. La narrazione secondo cui “loro ne sanno di più”, che ormai è impensabile “fermare la tecnologia” è falsa. Lo abbiamo già fatto. Abbiamo già messo marmitte catalitiche e cinture di sicurezza alle auto. Bisognerebbe dire con altrettanta enfasi dello sforzo, anche economico, della ricerca verso un’intelligenza artificiale più robusta. Perché è mio convincimento che l’Ia generativa sia dopo tutto una tecnologia ancora immatura che nasconde il rischio, taciuto, di non venire poi adottata dalla società civile.

• È indubbio, infatti, che il successo nell’adozione delle tecnologie AI dipenda dalla fiducia che la società civile ripone nei suoi confronti. Secondo diversi report McKinsey, le aziende che implementano la XAI aumentano del 10 per cento il proprio fatturato annuo, mentre una recente ricerca del World Economic Forum individua nella XAI la via più efficace per sciogliere quei fattori comportamentali che ostacolano di fatto l’adozione su larga scala dell’Ia anche nelle aziende. L’avversione verso gli algoritmi, la riluttanza della società civile potrebbe essere vinta dalla XAI? 

Questa è la scommessa, nel progetto stiamo facendo diversi trials sul campo proprio per misurare se c’è aumento o meno di fiducia. Gli esperimenti consistono nel selezionare un gruppo di esperti in un ambito dove abbiamo un sistema di intelligenza artificiale per raccomandare decisioni per esporli a un nuovo caso a cui devono dare la loro opinione sulla base della loro conoscenza personale. In seguito, vengono divisi in due gruppi  a cui viene mostrata l’opinione della macchina, all’uno con spiegazione, all’altro senza. Infine, viene misurato il trust, ovvero quanto cambiano opinione. I risultati confermano che la spiegazione facilita l’eventuale cambio di opinione o la conferma. Quindi sì, XAI va nella direzione di preservare e stimolare il senso critico della persona, piuttosto che rimpiazzare l’essere umano. Va detto infine che le aziende che si stanno equipaggiando per mettere all’interno dei loro processi queste tecnologie Ia non sono molte, e una delle motivazioni è proprio la mancanza di fiducia. Aumentare robustezza e trasparenza serve anche a migliorare la fiducia, soprattutto se il fine non è rimpiazzare. Una conferma ulteriore per mostrare che l’eXplainable AI è il percorso più efficace per rendere accettabile l’adozione dell’Ia.