Che cosa è successo
Tra il 2015 e il 2019 il governo australiano ha utilizzato un programma di verifica dei redditi noto come Income Compliance Program e poi, nel dibattito pubblico, come Robodebt. Il sistema confrontava i redditi dichiarati dai beneficiari di prestazioni sociali con i dati annuali trasmessi dall’Australian Taxation Office e, in determinati casi, trasformava quel dato annuale in una stima del reddito quindicinale attraverso un processo di income averaging.
La differenza sembra tecnica, ma era decisiva. Le prestazioni sociali australiane dipendevano spesso dal reddito effettivamente percepito in specifici periodi di due settimane. Distribuire uniformemente su quelle settimane un reddito annuale poteva produrre una rappresentazione che non corrispondeva a ciò che una persona aveva realmente guadagnato in ciascun periodo. Un lavoratore occasionale, stagionale o con entrate irregolari poteva avere ricevuto molto in alcune settimane e nulla in altre; la media trasformava quella variazione in un reddito regolare che non era necessariamente esistito.
Il sistema utilizzava questa discrepanza per avviare procedure di verifica e, in alcuni casi, per sollevare debiti nei confronti dei beneficiari. Services Australia descrive oggi i Robodebt come debiti creati fra luglio 2015 e novembre 2019 usando informazioni ATO mediate e precisa che, dal novembre 2019, l’income averaging non viene più utilizzato come unica prova per stabilire un debito.
Nel 2021 la Federal Court ha approvato il settlement della class action Prygodicz v Commonwealth of Australia (No 2). Fra le dichiarazioni alle quali il Commonwealth ha acconsentito c’era quella secondo cui una decisione di debito non era validamente presa quando si basava soltanto sull’assunzione che il reddito quindicinale potesse essere ricavato distribuendo uniformemente i dati annuali ATO, in assenza di altre prove che quella persona avesse effettivamente guadagnato a quel ritmo. Nel 2023 una Royal Commission ha ricostruito l’intera vicenda e ha formulato 57 raccomandazioni riguardanti, fra l’altro, legalità, amministrazione pubblica, recupero crediti, gestione dei dati e decisioni automatizzate.
Dove entra il sistema
Robodebt non è un caso di intelligenza artificiale generativa e non serve trasformarlo retroattivamente in qualcosa che non era. Il suo valore per Dietro la macchina sta proprio qui: mostra che molti problemi oggi attribuiti all’IA esistevano già quando l’automazione consisteva in regole, confronti di banche dati e procedure amministrative su larga scala.
Il sistema entrava nel momento in cui dati prodotti per uno scopo – le informazioni annuali sul reddito raccolte dall’amministrazione fiscale – venivano trasformati in una stima utile a un altro scopo: determinare se una persona avesse ricevuto più prestazioni di quante le spettassero in specifici periodi. Il computer rendeva possibile farlo su una scala che una procedura interamente manuale non avrebbe potuto sostenere con la stessa velocità.
Quella capacità di scala non era neutrale. Automatizzare il confronto permetteva di generare molte più verifiche e richieste rispetto al sistema precedente, ma contemporaneamente riduceva il costo necessario per esaminare individualmente ogni situazione prima che il sospetto di un debito entrasse nel rapporto fra amministrazione e cittadino. La macchina non inventava da sola la regola dell’income averaging: applicava un metodo che qualcuno aveva deciso di utilizzare.
Chi ha deciso
La catena decisionale non coincide con il software. Una politica di compliance è stata proposta, finanziata e implementata. Dipartimenti pubblici hanno stabilito quali dati utilizzare, quale metodo applicare alle discrepanze, come comunicare con i beneficiari e quali passaggi potessero essere automatizzati. Funzionari, dirigenti, consulenti legali e responsabili politici hanno operato dentro livelli differenti della stessa struttura amministrativa.
La Royal Commission ha dedicati una parte importante del proprio lavoro proprio a questa distribuzione delle decisioni. Fra le sue raccomandazioni vi sono l’obbligo di rendere più esplicite le implicazioni legislative delle nuove politiche, la necessità di documentare le basi delle assunzioni utilizzate nelle misure di compliance, il rafforzamento della governance dei programmi di data matching e la richiesta di un quadro legale coerente per le decisioni automatizzate nella pubblica amministrazione.
Questo rende insufficiente la frase “il sistema ha generato il debito”. Il sistema poteva calcolare, confrontare e produrre un esito perché una serie di decisioni precedenti aveva stabilito che quei dati potessero essere combinati in quel modo e che quell’esito potesse entrare in una procedura di recupero. La decisione amministrativa diventava automatizzabile perché il processo era stato costruito per esserlo.
Chi poteva decidere diversamente
Il metodo avrebbe potuto essere limitato fin dall’inizio a una funzione di segnalazione: una discrepanza poteva indicare la necessità di una verifica, senza diventare prova sufficiente di un debito. Si potevano richiedere dati più granulari prima di procedere, mantenere una verifica umana effettiva nei casi dubbi o progettare il flusso in modo che l’onere di ricostruire ciò che era realmente accaduto non ricadesse principalmente sulla persona che riceveva la comunicazione.
La Royal Commission ha indicato anche un altro livello: quando emergono dubbi sulla legalità o sul funzionamento di una politica automatizzata, devono esistere procedure capaci di farli risalire lungo l’organizzazione. Le sue raccomandazioni chiedono una migliore documentazione dei pareri legali, sistemi per individuare decisioni amministrative significative e canali attraverso i quali il personale di prima linea possa comunicare problemi e ricevere una risposta.
Anche il controllo politico e amministrativo avrebbe potuto essere diverso. L’automazione aumentava la capacità di perseguire presunti debiti e quindi produceva un vantaggio misurabile in termini di compliance e risorse recuperate. Ma proprio quella capacità avrebbe richiesto una domanda preliminare: che cosa deve essere dimostrato prima che lo Stato possa trasformare una discrepanza statistica in una pretesa economica nei confronti di una persona?
Perché questo caso conta
Robodebt mostra con particolare chiarezza che la scala può modificare il significato di un errore. Un metodo approssimativo applicato a un singolo caso può produrre una decisione sbagliata. Lo stesso metodo inserito in un’infrastruttura automatizzata può produrre migliaia di decisioni simili prima che il problema venga riconosciuto e corretto.
Mostra anche che efficienza e rischio possono distribuirsi in direzioni differenti. L’amministrazione otteneva la possibilità di ampliare l’attività di controllo senza aumentare nella stessa misura il lavoro manuale necessario. Le persone sottoposte a verifica, invece, potevano dover ricostruire periodi di lavoro, produrre documentazione e contestare una pretesa nata da un’assunzione che non avevano scelto. Il vantaggio della scala apparteneva all’organizzazione; il costo dell’errore poteva ricadere sul singolo.
Infine, Robodebt rende visibile una forma particolarmente importante di responsabilità distribuita. Non è necessario che qualcuno abbia premuto un pulsante dicendo “crea questo debito” perché esista una responsabilità umana. Le responsabilità possono trovarsi nella scelta del metodo, nell’autorizzazione della procedura, nella valutazione dei pareri legali, nel modo in cui vengono trattati i segnali di errore e nella decisione di continuare o modificare il sistema.
È per questo che la Royal Commission, nelle raccomandazioni sulle decisioni automatizzate, non propone semplicemente di mettere “un umano nel circuito”. Chiede un percorso chiaro di revisione per chi subisce una decisione, informazioni pubbliche comprensibili sul funzionamento dell’automazione, disponibilità delle regole e degli algoritmi per uno scrutinio indipendente e un organismo capace di monitorare e auditare questi processi.
Robodebt mostra che l’automazione non elimina la decisione politica, giuridica o amministrativa: può renderla meno visibile proprio mentre ne aumenta la scala.
Cosa possiamo fare
Se lo usi
Tratta un risultato automatizzato come l’esito di un metodo, non come un fatto già dimostrato. Chiedi da quali dati proviene, quale trasformazione è stata applicata e quali informazioni individuali possono essere state perse durante quella trasformazione. Una discrepanza può essere un buon motivo per controllare; non è necessariamente una prova sufficiente per decidere.
Se lo introduci
Definisci prima dell’automazione quale livello di evidenza è necessario perché un output produca conseguenze reali. Mantieni separati il rilevamento di un’anomalia e la decisione che incide sulla persona. Prevedi revisione, contestazione, registrazione delle regole applicate e un modo concreto perché segnali provenienti da utenti, operatori e organi di controllo possano modificare il sistema.
Se ne subisci gli effetti
Chiedi quale dato abbia generato la decisione, quale regola sia stata applicata, se il risultato derivi da informazioni effettive o da una stima e quale percorso esista per ottenere una revisione umana. Sapere che una decisione è “automatizzata” non basta: ciò che conta è poter ricostruire il passaggio fra dato, regola e conseguenza.
Fonti e documenti
Fonte primaria: Royal Commission into the Robodebt Scheme, Report, 7 luglio 2023. Il rapporto in tre volumi ricostruisce il programma e contiene 57 raccomandazioni.
Decisioni automatizzate: nel rapporto della Royal Commission, raccomandazioni 17.1 e 17.2, dedicate a quadro legale, possibilità di revisione, trasparenza delle regole e audit dei sistemi automatizzati usati nei servizi pubblici.
Descrizione amministrativa attuale: Services Australia, Information about Robodebt. L’agenzia definisce i Robodebt come debiti sollevati fra luglio 2015 e novembre 2019 usando informazioni reddituali ATO mediate e precisa che quel metodo non viene più utilizzato come unica prova.
Automazione e flussi di dati: Deloitte, Use of data and automation in the Robodebt Scheme, rapporto alla Royal Commission, 8 marzo 2023.
Federal Court: Justice Melissa Perry, AI and Automated Decision-Making: Are you just another number?, Federal Court of Australia, 21 ottobre 2021, che richiama Robodebt come esempio dei rischi dell’automazione nelle decisioni pubbliche e rinvia alla controversia Prygodicz v Commonwealth of Australia (No 2) [2021] FCA 634.