Il vantaggio non si distribuisce come il rischio

Nel movimento precedente abbiamo seguito il costo del controllo: tempo, persone, calcolo, procedure, rinunce e rallentamenti. Ma ogni costo ha sempre un’altra faccia. Se ridurre una salvaguardia permette di arrivare prima, fare di più, spendere meno o automatizzare una parte maggiore del processo, qualcuno riceve un vantaggio. Ed è proprio qui che la domanda sulla responsabilità diventa più precisa: il vantaggio prodotto da una decisione e il rischio che quella stessa decisione trasferisce non finiscono necessariamente nelle stesse mani.

Un’organizzazione può beneficiare di maggiore velocità, di minori costi o di una scala operativa prima impossibile. Un dirigente può raggiungere un obiettivo di produttività. Un fornitore può vendere un servizio più competitivo. Un utente può ottenere una risposta più rapida. Intanto, però, l’errore può ricadere su una persona che non ha scelto il sistema, su un lavoratore che deve correggerne gli effetti, su un cliente che non conosce i criteri con cui è stato valutato, su una comunità che assorbe conseguenze che nessuna metrica interna all’organizzazione registra. Parlare di “benefici dell’IA” o di “rischi dell’IA” senza chiedere chi riceva gli uni e chi sopporti gli altri significa mettere nello stesso contenitore posizioni che possono essere molto diverse.

Il beneficio ha sempre un destinatario

Quando diciamo che un sistema è utile, dovremmo poter completare la frase: utile per chi? Un modello che riduce il tempo necessario a esaminare una pratica può essere utile all’organizzazione che deve gestirne migliaia. Può esserlo anche alla persona che riceve una risposta più rapidamente. Ma lo stesso sistema può rendere più difficile comprendere perché una pratica sia stata respinta, può spostare lavoro di verifica su operatori già sovraccarichi o può produrre errori che diventano visibili soltanto quando qualcuno li subisce.

Non c’è nulla di sospetto nel fatto che un’impresa cerchi efficienza o che un’amministrazione tenti di usare meglio le proprie risorse. Il problema nasce quando il vantaggio viene descritto come se appartenesse automaticamente a tutti coloro che entrano in contatto con il sistema. La produttività di chi offre un servizio, la comodità di chi lo usa, il margine economico di chi lo vende e il benessere di chi viene valutato da quel servizio sono grandezze diverse. Possono coincidere, ma non lo fanno per definizione.

I principi OCSE sull’intelligenza artificiale insistono proprio su questo passaggio: l’obiettivo non è soltanto produrre crescita, ma orientare l’IA verso risultati benefici per le persone e il pianeta e verso una crescita inclusiva. È una distinzione importante perché impedisce di trasformare un vantaggio misurato dentro un’organizzazione in una prova automatica del beneficio complessivo prodotto dal sistema.

Chi non usa il sistema può subirne gli effetti

La distribuzione del rischio diventa ancora più evidente quando osserviamo le persone che non hanno alcun rapporto diretto con la tecnologia. Un individuo può non scegliere, acquistare o utilizzare un sistema e tuttavia essere valutato da esso, classificato attraverso i suoi output, escluso da un processo, sottoposto a una verifica più intensa o semplicemente costretto ad adattarsi a una decisione che il sistema ha contribuito a produrre.

Il NIST distingue esplicitamente fra utenti finali e persone o comunità interessate dagli effetti di un sistema. Queste ultime possono essere direttamente o indirettamente coinvolte senza interagire affatto con l’applicazione. Il Framework chiede inoltre di caratterizzare gli impatti su individui, gruppi, comunità, organizzazioni e società e di valutare sia effetti benefici sia effetti dannosi. È un modo tecnico per rendere visibile una cosa molto semplice: la mappa di chi riceve i benefici non coincide necessariamente con la mappa di chi può ricevere il danno.

La stessa logica compare nel regolamento europeo sull’IA quando, per determinati sistemi ad alto rischio, impone a specifici deployer una valutazione d’impatto sui diritti fondamentali che identifichi le categorie di persone e gruppi verosimilmente interessati dall’uso del sistema e i rischi di danno che possono ricadere su di loro. La domanda non è quindi soltanto che cosa ottenga chi introduce la tecnologia, ma chi entra nel raggio delle sue conseguenze.

Il rischio può uscire dal perimetro che misura il successo

Ogni organizzazione ha bisogno di indicatori. Misura tempi, costi, errori, conversioni, produttività, qualità del servizio, disponibilità, vendite o qualunque altra grandezza sia rilevante per il proprio scopo. Il problema è che ciò che non viene misurato può comunque esistere. Un processo automatizzato può risultare più efficiente secondo tutte le metriche interne e, nello stesso tempo, trasferire una parte del proprio costo su persone che non compaiono in quelle metriche.

Un sistema può ridurre il lavoro di un ufficio aumentando quello necessario a chi deve contestarne gli errori. Può ridurre i tempi medi di risposta producendo casi marginali molto più difficili da correggere. Può abbassare il costo di una decisione per chi la prende e aumentare il costo di comprenderla per chi la subisce. Può perfino migliorare la qualità media e peggiorare in modo significativo l’esperienza di un gruppo relativamente piccolo, che proprio perché piccolo scompare facilmente dentro il dato aggregato.

Non serve immaginare cattive intenzioni. È sufficiente che il sistema venga ottimizzato rispetto agli obiettivi di chi lo controlla e che gli effetti esterni entrino nella valutazione soltanto quando qualcuno decide di cercarli. Per questo il NIST non si limita a chiedere che vengano mappati rischi e benefici dei componenti del sistema, ma include gli impatti su soggetti esterni al gruppo che lo ha sviluppato o distribuito e invita a integrare il feedback proveniente da chi ne sperimenta gli effetti.

Distribuire le decisioni non distribuisce automaticamente il vantaggio

Abbiamo già visto in L’ecosistema delle decisioni che una scelta assistita dall’intelligenza artificiale nasce da una catena: chi definisce il problema, chi costruisce il modello, chi acquista il servizio, chi stabilisce i dati e le soglie, chi organizza il processo, chi riceve la raccomandazione e chi compie l’ultimo gesto. Questa distribuzione rende insufficiente cercare un unico punto nel quale “la macchina ha deciso”.

Ma distribuire il processo non significa che benefici e rischi vengano distribuiti nello stesso modo. Un fornitore può ottenere ricavi, un’organizzazione può ottenere efficienza, un responsabile può raggiungere un obiettivo operativo e l’operatore finale può ritrovarsi con il compito di gestire gli errori prodotti da una struttura che non ha scelto. La persona sulla quale ricade la decisione, infine, può non ricevere nessuno dei vantaggi che hanno motivato l’intera catena.

È qui che la responsabilità rischia di diventare particolarmente sfuggente. Ogni attore può descrivere correttamente il proprio contributo come parziale, mentre il vantaggio complessivo rimane abbastanza concreto da giustificare l’adozione del sistema. Se invece compare un danno, quella stessa frammentazione può rendere difficile individuare chi avesse il potere effettivo di impedirlo.

Il successo sale, l’errore scende

Esiste una asimmetria narrativa che vale la pena osservare. Quando un sistema funziona bene, il successo tende a risalire verso il progetto: si parla della qualità del modello, dell’efficienza dell’organizzazione, dell’innovazione introdotta, della capacità di automatizzare un processo che prima richiedeva più tempo o più persone. Quando qualcosa va storto, la responsabilità può invece scendere lungo la catena fino all’ultimo essere umano che ha toccato il processo.

Questo meccanismo era già emerso nell’ecosistema delle decisioni con la figura dell’essere umano trasformato in parafulmine morale: la persona più vicina all’errore può diventare il luogo nel quale viene concentrata una responsabilità che non corrisponde al potere reale posseduto durante la progettazione, l’adozione o l’organizzazione del sistema.

Il quinto movimento aggiunge un elemento: mentre la responsabilità può scendere, il vantaggio non necessariamente la segue. Chi ha ottenuto riduzioni di costo, maggiore velocità, una nuova capacità commerciale o una posizione competitiva può restare molto lontano dal punto nel quale l’errore diventa concreto. La distanza fra vantaggio e conseguenza non è creata dall’intelligenza artificiale, ma l’automazione può renderla più difficile da vedere perché aumenta il numero di passaggi intermedi e rende più semplice descrivere ogni singolo attore come soltanto una parte della catena.

Chi beneficia deve restare dentro la storia del rischio

Non significa che chi trae vantaggio da un sistema debba automaticamente rispondere di ogni conseguenza prodotta da esso. Sarebbe una scorciatoia speculare a quella che stiamo cercando di evitare. Un fornitore non controlla ogni uso del proprio modello, un deployer non controlla ogni dettaglio della progettazione, un operatore non conosce necessariamente ogni scelta compiuta a monte. La responsabilità deve seguire ruoli, contesto e capacità effettiva di agire.

È precisamente il criterio adottato dai principi OCSE sull’accountability: gli attori dell’IA dovrebbero essere responsabili in funzione del proprio ruolo, del contesto e della propria capacità di intervento. La formula è utile perché impedisce sia di attribuire tutto alla macchina sia di concentrare tutto sull’ultimo essere umano della catena. Costringe invece a ricostruire chi poteva fare che cosa e in quale momento.

Ma proprio per questo il vantaggio non può essere espulso dalla ricostruzione. Sapere chi guadagna da una configurazione, da un’automazione più spinta, dalla riduzione di un controllo o dall’introduzione di un nuovo sistema aiuta a capire perché certe decisioni siano state prese e perché alcuni rischi siano stati considerati accettabili. Gli interessi non provano una colpa, ma spiegano una parte della causalità.

La persona colpita non è un dettaglio a valle

Una delle conseguenze più importanti di questa prospettiva è che chi subisce l’effetto di una decisione non può essere trattato come un elemento che compare soltanto alla fine. Se un sistema è progettato per incidere su persone, il modo in cui quelle persone possono essere favorite, penalizzate, escluse, confuse o costrette a contestare un risultato deve entrare nella progettazione e nella governance molto prima che il primo caso concreto arrivi.

L’UNESCO, nella Raccomandazione sull’etica dell’intelligenza artificiale, lega responsabilità e accountability a tracciabilità, audit, valutazioni d’impatto e due diligence. L’OCSE collega la trasparenza alla possibilità per chi è negativamente interessato da un sistema di comprenderne l’esito e contestarlo. Il regolamento europeo, nei casi in cui richiede una valutazione d’impatto sui diritti fondamentali, chiede esplicitamente di identificare in anticipo le categorie di persone e gruppi potenzialmente colpiti.

Tutte queste formulazioni convergono su un punto che per Dietro la macchina è centrale: le conseguenze non cominciano quando il sistema ha già agito. Cominciano nel momento in cui qualcuno decide quali effetti sia disposto a rendere possibili e su chi possano ricadere.

La domanda da cui partire

Dopo aver ricostruito capacità, accessi, autonomia e costo del controllo, possiamo finalmente aggiungere una domanda che spesso viene trattata come secondaria: chi ottiene qualcosa dalla decisione di automatizzare, delegare, accelerare o ridurre una salvaguardia?

Non per trasformare ogni vantaggio in un sospetto. Un beneficio può essere reale, condiviso e perfettamente legittimo. Ma se vogliamo capire perché un certo rischio sia stato accettato, dobbiamo sapere anche quale beneficio lo rendeva accettabile e per chi. Solo allora possiamo confrontare le due mappe: quella di chi guadagna e quella di chi può perdere.

La domanda del quinto movimento è quindi questa: quando il vantaggio e il rischio finiscono su soggetti diversi, chi ha il potere di decidere che quella distribuzione sia accettabile?

Fonti e riferimenti

OECD, OECD AI Principles, aggiornati nel 2024. I principi distinguono fra crescita economica e risultati benefici inclusivi, e stabiliscono che gli attori dell’IA debbano essere accountable in funzione del ruolo, del contesto e della capacità di agire, mantenendo tracciabilità e gestione del rischio lungo l’intero ciclo di vita.

National Institute of Standards and Technology, AI Risk Management Framework 1.0 — Core. La funzione Map richiede di mappare rischi e benefici, caratterizzare gli impatti su individui, gruppi, comunità, organizzazioni e società e integrare anche il feedback di soggetti esterni al gruppo che ha sviluppato o distribuito il sistema.

Unione europea, Regolamento (UE) 2024/1689 sull’intelligenza artificiale, articolo 27. Per determinati deployer di sistemi ad alto rischio la valutazione d’impatto sui diritti fondamentali deve identificare le categorie di persone e gruppi verosimilmente interessati e i rischi di danno che l’uso del sistema può produrre su di loro.

UNESCO, Recommendation on the Ethics of Artificial Intelligence. La Raccomandazione collega responsabilità e accountability a supervisione, tracciabilità, valutazione d’impatto, audit e due diligence, con l’obiettivo di evitare danni e conflitti con i diritti umani e il benessere ambientale.