Chi risponde quando nessuno decide da solo?

Abbiamo seguito il controllo mentre veniva concesso, distribuito, trasformato in supervisione, confrontato con il proprio costo e separato dai vantaggi che produce. A questo punto rimane l’ultima domanda del percorso: chi risponde delle conseguenze? La risposta sembra semplice finché immaginiamo una decisione presa da una sola persona. Diventa molto meno semplice quando il risultato nasce da una catena nella quale nessuno, da solo, ha progettato ogni passaggio, scelto ogni parametro, autorizzato ogni uso e compiuto ogni azione.

La difficoltà non nasce perché la responsabilità sia scomparsa davvero. Nasce perché il processo è diventato abbastanza distribuito da permettere a ciascun attore di descrivere correttamente il proprio contributo come parziale. Il fornitore ha costruito il sistema ma non ha scelto il caso concreto. Il deployer ha scelto di usarlo ma non ne controlla ogni dettaglio tecnico. L’operatore ha compiuto l’ultimo gesto ma non ha definito il modello, i dati, le soglie o i tempi. Chi subisce l’esito, infine, può trovarsi davanti a una decisione della quale vede le conseguenze molto più chiaramente di quanto riesca a vedere il responsabile.

La responsabilità distribuita non è responsabilità dissolta

Quando più soggetti partecipano a un processo, la tentazione più comoda consiste nel cercare comunque un unico responsabile. È rassicurante pensare che da qualche parte esista il punto esatto nel quale la decisione è stata presa e nel quale possa essere depositata tutta la responsabilità. Ma molte decisioni assistite o automatizzate non funzionano così.

Una soglia può essere definita da un team, applicata da un prodotto acquistato da un’organizzazione, alimentata da dati raccolti altrove, interpretata da un operatore e trasformata in conseguenza attraverso una procedura che nessuno dei singoli attori controlla interamente. Questo non significa che nessuno risponda. Significa che la responsabilità deve essere ricostruita lungo la stessa catena che ha prodotto il risultato.

È il punto già emerso in L’ecosistema delle decisioni: distribuire il processo non serve a far evaporare la responsabilità, ma a distinguere il potere effettivo dei diversi attori. Il sesto movimento porta quel ragionamento fino alla sua conseguenza naturale: se il potere è distribuito, anche l’accountability deve essere capace di seguirne la distribuzione senza fingere che tutto appartenga all’ultimo gesto.

L’ultimo essere umano è spesso il responsabile più visibile

Una persona firma, approva, conferma, invia o preme il pulsante finale. È quindi molto facile indicarla quando qualcosa va storto. Il suo nome compare nell’atto, la sua presenza è registrata dal sistema e il suo gesto può sembrare il punto nel quale tutto ciò che è accaduto prima diventa finalmente una decisione.

Ma nel Movimento 03 abbiamo visto che l’uomo nel circuito può essere soltanto una firma. Se quella persona non disponeva del tempo, delle informazioni, della competenza o dell’autorità necessarie per cambiare l’esito, attribuirle l’intera responsabilità significa confondere visibilità e potere. La firma dimostra che qualcuno era presente. Non dimostra, da sola, che potesse davvero decidere.

Il regolamento europeo sull’IA rende molto concreta questa distinzione quando, per i sistemi ad alto rischio, impone ai deployer di affidare la sorveglianza umana a persone che dispongano di competenza, formazione, autorità e sostegno necessari. Non basta quindi collocare formalmente una persona nel processo: perché la supervisione abbia significato, devono esistere condizioni organizzative che le permettano di esercitarla.

Le responsabilità cominciano prima del momento dell’errore

Un incidente rende visibile una catena che esisteva già. Prima dell’errore qualcuno ha scelto di adottare il sistema, definirne l’uso, configurarne gli accessi, stabilire chi potesse interromperlo, decidere quali controlli fossero sostenibili e quali rischi fossero accettabili. Se ricostruiamo la responsabilità soltanto dopo il danno, rischiamo di guardare l’ultimo fotogramma di una storia cominciata molto prima.

Il NIST colloca proprio nella funzione Govern la definizione di ruoli e responsabilità, linee di comunicazione, procedure di revisione e strutture di accountability. Il punto è importante: la responsabilità non dovrebbe essere inventata nel momento della crisi, quando tutti cercano di capire chi avrebbe dovuto intervenire. Deve essere progettata insieme al sistema e mantenuta durante il suo ciclo di vita.

Per questo la domanda “chi risponde?” non può essere separata da “chi poteva fare che cosa?”. Un soggetto può avere contribuito causalmente a un risultato senza avere il potere di evitarlo; un altro può non essere apparso nell’ultimo passaggio e tuttavia avere definito le condizioni che rendevano quel risultato possibile. L’accountability non coincide con la semplice prossimità temporale all’errore.

Ruolo, contesto e capacità di agire

I principi OCSE formulano un criterio particolarmente utile: gli attori dell’IA dovrebbero essere accountable in base al proprio ruolo, al contesto e alla propria capacità di agire. Questa formula evita due scorciatoie opposte. La prima consiste nell’attribuire tutto alla macchina, come se il sistema fosse diventato il soggetto morale della storia. La seconda consiste nell’attribuire tutto all’essere umano più vicino all’esito, come se ogni altro attore fosse soltanto un antecedente tecnico privo di responsabilità.

Ruolo, contesto e capacità di agire costringono invece a porre domande più precise. Chi poteva modificare il modello? Chi poteva limitarne l’uso? Chi disponeva delle informazioni per riconoscere un rischio? Chi aveva l’autorità per fermare il processo? Chi ha definito le metriche con cui il sistema veniva considerato abbastanza sicuro? Chi ha deciso che un determinato livello di errore fosse accettabile?

Questa ricostruzione non produce necessariamente una distribuzione uguale della responsabilità. Alcuni attori possono aver avuto molto più potere di altri. Ma proprio per questo è più rigorosa della ricerca di un colpevole unico: permette di distinguere responsabilità diverse invece di confonderle dentro una sola etichetta.

La macchina non può diventare il luogo nel quale depositiamo ciò che non sappiamo assegnare

Quando una catena è complessa, la frase “ha deciso l’algoritmo” offre una scorciatoia linguistica potente. Riassume una quantità di passaggi e permette di indicare immediatamente il punto nel quale il comportamento è diventato visibile. Il problema nasce quando quella sintesi viene utilizzata come spiegazione completa.

Un sistema può produrre un output inatteso, una raccomandazione difficile da interpretare o un comportamento che nessuno aveva previsto nei dettagli. Ma la possibilità che quell’output producesse conseguenze reali dipende comunque da accessi, autorizzazioni, procedure e scelte organizzative. L’imprevedibilità può complicare la responsabilità tecnica. Non cancella la responsabilità di chi ha costruito il contesto nel quale quella imprevedibilità poteva incidere sul mondo.

È la stessa distinzione che attraversa l’intero percorso: non si tratta di sostenere che ogni effetto fosse prevedibile o che ogni attore conoscesse anticipatamente ciò che sarebbe accaduto. Si tratta di impedire che l’incertezza sul comportamento della macchina venga trasformata in una zona nella quale nessun essere umano debba più rispondere delle decisioni che ha effettivamente preso.

Chi subisce l’esito deve sapere a chi rivolgersi

La responsabilità non serve soltanto a individuare chi punire dopo un fallimento. Serve anche a rendere possibile contestare, correggere, ottenere spiegazioni e modificare un processo che sta producendo conseguenze ingiuste o inattese. Dal punto di vista di chi subisce una decisione, una catena perfettamente comprensibile agli addetti ai lavori può essere comunque irresponsabile se non esiste un soggetto capace di ricevere una contestazione e agire sul risultato.

UNESCO collega per questo accountability, tracciabilità, audit, valutazioni d’impatto e due diligence, e afferma che i sistemi di IA non dovrebbero sostituire la responsabilità umana ultima. L’AI Act distribuisce obblighi distinti fra provider e deployer e impone, in diversi contesti, monitoraggio, informazione, supervisione e risposta agli incidenti. Il filo comune è che la complessità della catena non può diventare un ostacolo al fatto che qualcuno sia effettivamente tenuto ad agire.

Questo punto riprende anche la domanda di Chi può decidere della storia?: chi possiede il potere tecnico di modificare le condizioni di un sistema non coincide necessariamente con chi vive le conseguenze delle sue decisioni. Proprio per questo una relazione responsabile richiede che il potere di cambiare la storia rimanga collegato alla possibilità di essere chiamati a risponderne.

Il vantaggio aiuta a ricostruire la responsabilità, ma non la decide da solo

Nel Movimento 05 abbiamo confrontato la mappa di chi beneficia con quella di chi sopporta il rischio. Sapere chi ottiene velocità, riduzione dei costi, vantaggio competitivo o capacità operativa aiuta a capire perché certe configurazioni siano state scelte. Ma il beneficio non basta, da solo, ad assegnare la responsabilità.

Un soggetto può trarre vantaggio da un sistema senza controllarne ogni dettaglio; un altro può non ricevere alcun vantaggio diretto e tuttavia avere un potere decisivo nella catena. Per questo il vantaggio non si distribuisce come il rischio e neppure la responsabilità può essere ricostruita attraverso una sola misura.

Gli interessi spiegano una parte della causalità; l’autorità, la competenza, la possibilità di intervento e le decisioni effettivamente prese ne spiegano un’altra. Soltanto mettendole insieme possiamo evitare che la responsabilità venga assegnata per comodità a chi è più visibile o, al contrario, dissolta fra troppi soggetti perché nessuno appare sufficiente da solo.

La domanda da cui partire

Il percorso era cominciato da una formula semplice: prima della perdita del controllo esiste sempre, almeno in parte, una cessione del controllo. Sei movimenti dopo, quella frase può essere completata. La cessione non avviene in un solo istante e non appartiene necessariamente a una sola persona. Può essere distribuita fra progettazione, accessi, autonomia, supervisione, costi, incentivi e decisioni organizzative.

Per questo la responsabilità non si trova cercando il momento nel quale la macchina ha “preso il controllo”. Si trova ricostruendo chi ha reso possibile ogni passaggio, chi poteva modificarlo, chi ne ha tratto vantaggio, chi ne ha sopportato il rischio e chi aveva l’autorità necessaria per interrompere la catena.

La domanda conclusiva del percorso è allora questa: quando nessuno decide tutto da solo, abbiamo costruito una responsabilità distribuita oppure soltanto un sistema nel quale ciascuno può dire che la decisione apparteneva a qualcun altro?

Fonti e riferimenti

OECD, Accountability — OECD AI Principle. Il principio stabilisce che gli attori dell’IA siano accountable per il corretto funzionamento dei sistemi in base al proprio ruolo, al contesto e alla capacità di agire, e richiede tracciabilità e gestione sistematica del rischio lungo il ciclo di vita.

National Institute of Standards and Technology, AI Risk Management Framework 1.0 — Core, funzione Govern. Il Framework richiede strutture di accountability, ruoli e responsabilità chiaramente definiti, linee di comunicazione e revisione continua delle attività di gestione del rischio.

Unione europea, Regolamento (UE) 2024/1689 sull’intelligenza artificiale, in particolare articolo 26. Per i sistemi ad alto rischio, i deployer devono adottare misure tecniche e organizzative adeguate, assegnare la supervisione a persone dotate di competenza, formazione e autorità e monitorare il funzionamento del sistema, informando provider e autorità quando emergano rischi o incidenti.

UNESCO, Recommendation on the Ethics of Artificial Intelligence. La Raccomandazione collega responsabilità e accountability ad auditabilità, tracciabilità, supervisione, valutazioni d’impatto e due diligence e afferma che i sistemi di IA non dovrebbero sostituire la responsabilità umana ultima.