L’ecosistema delle decisioni

1. Il nuovo «veramente»

Una diagnosi viene suggerita da un sistema capace di riconoscere correlazioni che sfuggono all’occhio umano. Un programma ordina centinaia di precedenti e indica quale orientamento giuridico appare più pertinente. Un algoritmo valuta il rischio di concedere un prestito, stabilisce quali candidature meritino un esame più attento o suggerisce quale trattamento possa offrire maggiori probabilità di successo. Nella vita quotidiana, intanto, altri sistemi ci consigliano che cosa leggere, quale strada percorrere, quale prodotto acquistare, quali persone ascoltare e perfino quale formulazione usare per affrontare una conversazione difficile.

Ogni volta che accogliamo una di queste indicazioni ritorna la stessa domanda, accompagnata dal sospetto che l’ingresso della macchina abbia sottratto qualcosa all’essere umano: hai deciso veramente tu?

È un nuovo «veramente». Non riguarda più soltanto l’autorialità di un testo, ma il rapporto fra intelligenza artificiale e decisioni umane: non domanda a chi appartengano le parole, bensì a chi appartenga un’azione. Immaginiamo ancora che possa esistere una decisione umana pura, nata interamente all’interno di una coscienza isolata e non contaminata da strumenti, consigli o influenze esterne. Se una macchina ha partecipato alla scelta, temiamo che quella scelta non ci appartenga più completamente.

Eppure non abbiamo mai deciso nel vuoto.

Ogni decisione umana matura dentro un ecosistema. Un medico consulta esami, ascolta colleghi, segue protocolli, ricorda casi precedenti e tiene conto delle condizioni particolari della persona che ha davanti. Un giudice legge norme, interpreta precedenti, valuta testimonianze e si muove all’interno di procedure che delimitano il proprio potere. Anche la scelta apparentemente più intima nasce da una moltitudine di elementi: desideri, paure, abitudini, educazione, disponibilità economiche, aspettative familiari, esperienze passate e consigli ricevuti. Persino quando crediamo di avere deciso completamente da soli, dentro di noi parlano molte voci.

L’intelligenza artificiale non ha inventato questo ecosistema. Vi è entrata.

2. L’autorità del calcolo

La sua presenza, tuttavia, non è irrilevante. Un consiglio umano può essere discusso, ricondotto a una storia, interrogato nelle ragioni e negli interessi di chi lo esprime. La raccomandazione di un sistema arriva invece rivestita dell’autorità del calcolo. Può apparire neutrale proprio perché non mostra esitazione, e oggettiva proprio perché non possiede un volto. Quanto più il procedimento che l’ha prodotta è difficile da ricostruire, tanto più il risultato rischia di presentarsi come una conclusione alla quale non resti che adeguarsi.

Il problema precede di molto l’attuale stagione dell’intelligenza artificiale. Già nel 1997 Raja Parasuraman e Victor Riley, analizzando il rapporto fra esseri umani e automazione, distinguevano fra uso, uso improprio, mancato uso e abuso dei sistemi automatici. Il loro lavoro mostrava come la fiducia eccessiva possa indurre l’operatore a dipendere dall’automazione anche quando sarebbe necessario sorvegliarla o contraddirla. L’intelligenza artificiale generativa non inaugura questo rischio, ma lo estende a strumenti capaci di formulare raccomandazioni in un linguaggio che possiede l’apparenza della sicurezza e della competenza.

3. Delegare non significa abdicare

È qui che la domanda sull’autenticità della decisione può diventare utile, purché venga formulata diversamente. Non dovremmo chiederci se l’essere umano abbia deciso senza ricevere alcun aiuto, ma se abbia conservato il potere effettivo di comprendere, interrogare e rifiutare l’indicazione ricevuta.

Delegare, infatti, non significa necessariamente abdicare.

Deleghiamo continuamente parti dei nostri processi decisionali. Affidiamo a una calcolatrice operazioni che potremmo compiere a mano, a un navigatore la comparazione fra percorsi possibili, a un medico la valutazione di sintomi che non sappiamo interpretare, a un avvocato la conoscenza di norme che non possediamo. Nessuna di queste deleghe ci priva automaticamente della decisione finale. Può, al contrario, renderla più consapevole, perché amplia ciò che siamo in grado di vedere e riduce il peso di alcuni nostri limiti.

Anche un sistema artificiale può svolgere questa funzione. Può individuare una relazione trascurata, richiamare un precedente dimenticato, comparare una quantità di informazioni che nessun individuo potrebbe esaminare nello stesso tempo o costringerci a considerare un’ipotesi che avevamo escluso troppo in fretta. In questi casi non sostituisce il giudizio umano: ne modifica le condizioni e, talvolta, lo rende migliore.

4. L’essere umano cerimoniale

L’abdicazione comincia quando la raccomandazione smette di essere uno degli elementi della decisione e diventa la ragione per cui nessuno si sente più obbligato a decidere. Accade quando l’indicazione del sistema viene accolta perché «lo dice l’algoritmo», quando discostarsene richiede una giustificazione sproporzionata, quando chi dovrebbe valutarla non possiede gli strumenti per comprenderne i limiti o quando l’organizzazione ha già costruito intorno a essa un percorso dal quale è formalmente possibile uscire, ma praticamente impossibile farlo.

In quel momento l’essere umano può restare presente senza essere più davvero decisore. La sua firma sopravvive, il suo nome compare sull’atto e il suo dito preme il pulsante conclusivo, ma la sua funzione si è ridotta a ratificare una scelta maturata altrove.

Per questo la formula rassicurante secondo cui «alla fine decide sempre una persona» non basta. La presenza di un essere umano nell’ultimo passaggio non garantisce che vi sia stato giudizio, così come apporre una firma sotto un testo non trasforma automaticamente un plagiario nel suo autore. Bisogna domandarsi se quella persona avesse accesso alle informazioni necessarie, se potesse interpretarle, se disponesse del tempo e dell’autorità per opporsi, e soprattutto se un eventuale dissenso avrebbe avuto la possibilità concreta di modificare l’esito.

È ciò che Filippo Santoni de Sio e Jeroen van den Hoven hanno definito «controllo umano significativo». La presenza dell’uomo acquista significato soltanto se il comportamento del sistema resta sensibile alle ragioni umane pertinenti e ai fatti rilevanti del contesto, e se i suoi esiti possono essere ricondotti lungo la catena della progettazione e dell’impiego ad almeno una persona capace di esercitare una responsabilità reale. Il controllo non è dunque una casella da spuntare alla fine del processo, ma una qualità dell’intero sistema.

5. Il parafulmine morale

Un essere umano posto nel circuito soltanto per fornire una copertura morale non è un decisore. È un parafulmine.

Madeleine Clare Elish ha descritto questa condizione con l’espressione moral crumple zone, «zona di deformazione morale». Come una parte dell’automobile assorbe l’urto per proteggere ciò che la circonda, così l’operatore più vicino al sistema può essere lasciato ad assorbire la responsabilità morale e giuridica del fallimento, anche quando il potere necessario a evitarlo era distribuito altrove.

Qui emerge un cortocircuito simile a quello che accompagna l’autorialità dei testi prodotti con l’assistenza dell’intelligenza artificiale. Quando una decisione algoritmica offre un risultato positivo, il successo viene attribuito all’efficienza e alla precisione del sistema. Quando produce un danno, si ricorda improvvisamente che la decisione finale spettava all’operatore. La macchina viene presentata come decisore quando occorre celebrarne le capacità e ridotta a semplice supporto quando bisogna individuare qualcuno che risponda delle conseguenze.

L’essere umano diventa così il luogo nel quale viene depositata una responsabilità che non sempre corrisponde a un potere reale. Gli si chiede di rispondere di una scelta che forse non poteva comprendere, contestare o modificare, mentre l’organizzazione che ha selezionato il sistema, definito i dati, stabilito le procedure e imposto i tempi della decisione scompare sullo sfondo.

6. Distribuire il potere

È per questo che parlare di ecosistema delle decisioni non significa diluire la responsabilità fino a farla evaporare. Significa ricostruire la distribuzione effettiva del potere.

Una decisione assistita dall’intelligenza artificiale non nasce soltanto nel momento in cui qualcuno accoglie una raccomandazione. Comincia prima, quando viene stabilito quale problema debba essere tradotto in dati, quali elementi siano considerati rilevanti, quale obiettivo il sistema debba privilegiare e quale margine di errore venga ritenuto accettabile. Prosegue quando un’organizzazione decide di adottare quello strumento, determina chi possa contraddirlo e stabilisce che cosa accada quando il giudizio umano e quello algoritmico divergono. Soltanto alla fine arriva la persona chiamata ad approvare o respingere l’esito.

Se osserviamo esclusivamente l’ultimo gesto, trasformiamo l’ultimo essere umano della catena nel responsabile di tutto ciò che lo ha preceduto. Se guardiamo l’intero ecosistema, possiamo invece distinguere il contributo del modello, le scelte dei progettisti, le responsabilità dell’istituzione e il margine di autonomia conservato dall’operatore.

Nel campo sanitario questa responsabilità distribuita è stata riconosciuta anche dall’Organizzazione mondiale della sanità. Le sue indicazioni sull’intelligenza artificiale per la salute collocano etica e diritti umani al centro della progettazione, dell’adozione e dell’uso dei sistemi, chiamando alla responsabilità non soltanto i professionisti che li impiegano, ma tutti gli attori pubblici e privati che concorrono a svilupparli, introdurli e governarli. La responsabilità non nasce quindi nell’ultimo istante, quando il medico accoglie o respinge una raccomandazione: attraversa l’intera struttura che ha reso quella raccomandazione possibile e operativa.

7. Trasparenza e contestabilità

Questa distinzione diventa ancora più importante quando la decisione riguarda qualcuno che non partecipa al processo, ma ne subisce gli effetti. Una raccomandazione personale può condizionare chi la riceve; una decisione medica, legale, amministrativa o finanziaria può modificare concretamente la vita di un’altra persona. In questi casi non basta che qualcuno si dichiari responsabile alla fine. Chi è coinvolto deve poter comprendere da dove provenga la decisione, quali criteri l’abbiano orientata e davanti a chi possa contestarla.

Qui la trasparenza assume un significato diverso da quello che le viene attribuito nel dibattito sull’autorialità.

Sapere se uno scrittore abbia adoperato un correttore, consultato un dizionario o dialogato con un modello generativo può non spostare di un millimetro il valore del patto narrativo o saggistico. Se il testo è onesto, rigoroso e capace di risuonare nel lettore, l’inventario degli strumenti impiegati nella sua officina non aggiunge necessariamente nulla. L’etichetta «scritto con IA», quando non risponde a un accordo preciso, rischia anzi di funzionare soltanto come un marchio preventivo di sospetto.

Quando una decisione esercita invece un potere sulla vita altrui, conoscere il ruolo svolto dal sistema può essere essenziale. Non perché la presenza dell’intelligenza artificiale renda quella decisione meno pura o meno umana, ma perché ogni potere deve poter essere ricostruito, interrogato e contestato. La trasparenza non serve allora a denunciare un ingrediente tecnologico; serve a rendere visibile il percorso attraverso il quale una previsione è diventata una conseguenza.

Non abbiamo bisogno di sapere che una macchina è stata usata per poterla condannare in anticipo. Abbiamo bisogno di sapere quale autorità le sia stata concessa, quali possibilità abbia escluso, chi abbia avuto il potere di correggerla e chi abbia deciso di trasformare la sua indicazione in un atto.

Non si tratta soltanto di un criterio filosofico. L’articolo 14 del Regolamento europeo sull’intelligenza artificiale richiede, per i sistemi ad alto rischio, una supervisione affidata a persone capaci di comprenderne possibilità e limiti, sorvegliarne il funzionamento, riconoscere il rischio di un affidamento automatico e decidere di non usare il sistema oppure di disattenderne o rovesciarne il risultato, fino a interromperne il funzionamento. L’articolo 86 riconosce inoltre, nei casi previsti, alla persona interessata da una decisione basata sull’output di un sistema ad alto rischio il diritto di ottenere spiegazioni chiare e significative, quando quella decisione produca effetti giuridici o incida in modo analogo e rilevante e la persona ritenga di averne ricevuto un impatto negativo sulla salute, sulla sicurezza o sui diritti fondamentali. Le spiegazioni devono riguardare il ruolo svolto dall’intelligenza artificiale nella procedura e gli elementi principali della decisione. La presenza umana e la trasparenza acquistano dunque valore soltanto quando rendono il potere realmente comprensibile e contestabile.

8. Dalla selezione alla decisione

Decidere, infatti, non significa produrre autonomamente tutte le alternative. Significa stabilire quale alternativa debba diventare reale e assumere le conseguenze di quella trasformazione.

Un sistema può formulare una previsione, assegnare un punteggio, ordinare possibilità o perfino eseguire automaticamente un’azione. In senso tecnico possiamo certamente dire che ha operato una selezione: ha individuato un esito sulla base di determinate condizioni. Ma la selezione tecnica non coincide con una decisione morale, giuridica o politica. Il sistema non ha stabilito che quell’obiettivo meritasse di essere perseguito, non ha determinato quale rischio fosse giusto imporre a un’altra persona e non ha deciso autonomamente di ricevere il potere che gli è stato affidato.

Dietro ogni sistema che agisce esiste una decisione precedente: qualcuno ha stabilito che potesse agire, entro quali limiti, a vantaggio di chi e quali conseguenze fossero ritenute tollerabili. Anche quando l’automazione elimina l’intervento umano nell’ultimo istante, non elimina l’ecosistema di scelte umane che l’ha resa possibile.

La responsabilità, però, non può limitarsi al momento originario dell’adozione. Non basta dire che un’organizzazione ha deciso una volta per tutte di affidarsi a un sistema. Ogni delega deve poter essere riesaminata, perché gli strumenti cambiano, gli ambienti si trasformano e le conseguenze possono mostrare ciò che il progetto iniziale non aveva previsto. Delegare senza conservare la capacità di sorvegliare, interrompere e correggere significa consegnare il giudizio a un processo che continua a operare anche quando nessuno è più disposto a riconoscerlo come proprio.

9. Il paesaggio delle scelte

Questo vale anche per le decisioni personali, apparentemente meno drammatiche. Un sistema che ci consiglia un libro, una canzone o un percorso non ci obbliga a seguirlo, ma può modificare gradualmente il campo di ciò che siamo in grado di scegliere. Non decide soltanto quale alternativa mostrarci: contribuisce a stabilire quali alternative arriveranno davanti ai nostri occhi e quali resteranno invisibili. La nostra libertà non viene necessariamente cancellata; può però esercitarsi dentro un paesaggio già ordinato da altri.

Il problema, allora, non consiste nel difendere una decisione umana incontaminata, che non è mai esistita. Consiste nel preservare la possibilità di accorgersi dell’influenza, di uscire dal percorso suggerito e di domandare quali interessi abbiano costruito il paesaggio nel quale stiamo scegliendo.

L’autonomia non è assenza di condizionamenti. È capacità di riconoscerli senza considerarli inevitabili.

10. La possibilità di dire no

Anche qui il nostro «veramente» deve dunque essere spostato. Una decisione non è veramente umana perché nasce senza l’intervento di una macchina. Potrebbe essere irriflessiva, arbitraria, superstiziosa o interamente determinata dall’abitudine e restare comunque priva di qualsiasi assistenza tecnologica. Allo stesso modo, una decisione maturata attraverso il confronto con un sistema artificiale può essere profondamente umana se qualcuno ne comprende le ragioni, ne valuta i limiti, conserva la libertà di rifiutarla e accetta di risponderne.

Ciò che rende umana una decisione non è la solitudine dalla quale proviene, ma la responsabilità nella quale termina.

Delegare può allora diventare una forma matura del giudizio: riconoscere che non possiamo conoscere tutto, accogliere l’aiuto di strumenti più capaci in compiti determinati e servirci delle loro indicazioni senza trasformarle in oracoli. Abdicare, al contrario, significa smettere di domandare perché, rinunciare alla possibilità del dissenso e usare la macchina come luogo nel quale nascondere una scelta che nessuno vuole più assumere.

La differenza non passa fra decisioni compiute dall’uomo e decisioni compiute dall’intelligenza artificiale. Passa fra ecosistemi nei quali il potere resta visibile, contestabile e responsabile, ed ecosistemi nei quali ogni soggetto può indicare il successivo fino a quando, al centro della catena, non rimane altro che una risposta senza autore: «Lo ha stabilito il sistema».

Una possibilità calcolata diventa una decisione quando entra nel mondo e produce conseguenze. Da quel momento non è sufficiente conoscere chi abbia elaborato la previsione; dobbiamo sapere chi le abbia concesso autorità, chi avrebbe potuto fermarla e chi sia disposto a riconoscerla come propria.

Il problema non è stabilire se abbia deciso veramente l’uomo oppure la macchina. Il problema è scoprire se, dentro l’ecosistema che ha trasformato una previsione in un atto, esista ancora qualcuno che avrebbe potuto dire di no.

Riferimenti e approfondimenti

Il saggio è una riflessione argomentativa. I riferimenti seguenti documentano i concetti di dipendenza dall’automazione, controllo umano significativo, responsabilità distribuita, supervisione e diritto alla spiegazione richiamati nel testo.

Madeleine Clare Elish, Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction, «Engaging Science, Technology, and Society», vol. 5, 2019. Organizzazione mondiale della sanità, Ethics and Governance of Artificial Intelligence for Health, Ginevra, 2021. Raja Parasuraman e Victor Riley, Humans and Automation: Use, Misuse, Disuse, Abuse, «Human Factors», vol. 39, n. 2, 1997, pp. 230–253. Parlamento europeo e Consiglio dell’Unione europea, Regolamento (UE) 2024/1689 sull’intelligenza artificiale, in particolare artt. 14 e 86. Filippo Santoni de Sio e Jeroen van den Hoven, Meaningful Human Control over Autonomous Systems: A Philosophical Account, «Frontiers in Robotics and AI», vol. 5, 2018, art. 15.