L’uomo nel circuito può essere soltanto una firma

Nel movimento precedente abbiamo seguito il punto nel quale una capacità diventa operativa: credenziali, strumenti, API e permessi trasformano ciò che un sistema sa fare in ciò che può realmente fare. Ma anche quando decidiamo di non consegnargli l’intero percorso, resta una soluzione apparentemente rassicurante: tenere una persona nel circuito. Il sistema analizza, propone, seleziona o prepara; alla fine un essere umano guarda e conferma.

È una formula che sembra risolvere il problema quasi per definizione. Se c’è una persona, allora c’è controllo umano. Ma la presenza fisica o procedurale di qualcuno dentro un flusso non dice ancora nulla sulla qualità del controllo che quella persona esercita. Può avere pochi secondi per decidere, informazioni insufficienti, nessuna possibilità concreta di comprendere come si sia arrivati a una raccomandazione e un’organizzazione che considera il rifiuto un’anomalia da giustificare. Può persino possedere formalmente il diritto di dire no e trovarsi, nella pratica, nelle condizioni in cui dire no è più difficile che firmare.

La domanda del terzo movimento nasce qui: quando diciamo che un essere umano è “nel circuito”, stiamo descrivendo una persona capace di cambiare l’esito oppure soltanto qualcuno incaricato di assumersene formalmente la responsabilità?

Essere presenti non significa decidere

Un controllo reale richiede più della presenza. Richiede tempo, informazioni, competenza e soprattutto la possibilità di intervenire. Un operatore che riceve una proposta automatica e può soltanto premere “approva” non esercita lo stesso controllo di chi può esaminare gli elementi che hanno prodotto quella proposta, chiedere una verifica, modificarla, ignorarla o interrompere l’intero processo. Eppure, in entrambi i casi, potremmo descrivere il sistema dicendo che la decisione finale spetta a un essere umano.

La differenza diventa evidente quando spostiamo l’attenzione dalla persona all’architettura della scelta. Se il sistema seleziona in anticipo quali informazioni mostrare, ordina le alternative, assegna punteggi, nasconde ciò che considera irrilevante e presenta una sola opzione come raccomandata, buona parte della decisione può essere già avvenuta prima che l’operatore compaia sullo schermo. La firma resta umana; il campo nel quale quella firma si muove è stato costruito altrove.

È una distinzione che dialoga direttamente con L’officina, il testo e la firma. Là la firma serviva a ricostruire chi assume la responsabilità di un testo anche quando il processo che lo produce è distribuito. Qui la prospettiva si rovescia: una firma può anche diventare il punto nel quale una responsabilità distribuita viene concentrata su una persona che non ha realmente controllato ciò che la precede.

La firma può arrivare quando la decisione è già stata presa

Immaginiamo un sistema che esamini mille pratiche e ne segnali cinquanta come rischiose. L’operatore umano vede soltanto quelle cinquanta. Può approvare o respingere la classificazione, ma non vede le novecentocinquanta escluse dal sistema e quindi non può sapere quante siano state scartate correttamente, quante avrebbero meritato attenzione e quali criteri abbiano determinato la selezione iniziale. Formalmente l’essere umano decide sulle pratiche che ha davanti. Sostanzialmente, però, una decisione precedente ha già stabilito che cosa meriti di arrivare fino a lui.

Lo stesso accade quando un sistema ordina candidati, suggerisce diagnosi, individua transazioni sospette, assegna priorità a richieste, propone sanzioni o raccomanda quali casi approfondire. Non è necessario che la macchina prenda l’ultima decisione perché possa orientare profondamente il processo. Basta che decida quali possibilità entrano nel campo visivo dell’essere umano e con quale peso vengono presentate.

Per questo la formula “decisione umana finale” può essere vera e, allo stesso tempo, insufficiente. Descrive l’ultimo gesto, non la storia che lo ha reso probabile. Se vogliamo capire dove si trova il controllo, dobbiamo ricostruire anche ciò che accade prima della firma.

L’automation bias non è un dettaglio psicologico

Esiste poi un secondo problema: la tendenza a fidarsi dell’output automatizzato proprio perché proviene da un sistema percepito come più coerente, più rapido o più capace di elaborare informazioni di quanto potrebbe fare una singola persona. Questa tendenza non rende l’essere umano ingenuo e non trasforma l’errore in una colpa individuale. È una conseguenza prevedibile del modo in cui organizziamo il lavoro attorno ai sistemi automatici.

Se un modello produce cento valutazioni corrette, la centounesima tende naturalmente a essere accolta con meno diffidenza. Se un operatore deve controllare centinaia di risultati al giorno, leggere ogni caso come se il sistema potesse aver sbagliato annulla buona parte del vantaggio che l’automazione prometteva. Se l’organizzazione misura la velocità e considera il rifiuto della raccomandazione automatica un evento eccezionale, il controllo umano può trasformarsi progressivamente da verifica a conferma.

Non è casuale che la normativa europea sui sistemi di IA ad alto rischio nomini esplicitamente la possibile tendenza a fare automaticamente o eccessivamente affidamento sull’output del sistema. Il punto interessante non è soltanto che l’errore umano debba essere evitato. È che una supervisione efficace deve essere progettata tenendo conto del fatto che l’essere umano può essere influenzato proprio dall’autorità che attribuisce alla macchina.

Il tempo decide quanto è umano il controllo

Un supervisore può possedere tutte le competenze necessarie e restare comunque incapace di esercitarle se il processo non gli concede il tempo sufficiente. Dieci minuti per esaminare un caso complesso e dieci secondi per confermare una raccomandazione non sono due versioni della stessa supervisione. Sono due sistemi diversi.

La velocità è uno dei motivi per cui automatizziamo. Ma proprio per questo può diventare il meccanismo che svuota il controllo umano. Se un agente completa in pochi secondi un compito che richiederebbe minuti o ore di verifica, l’organizzazione deve scegliere se conservare il tempo necessario al controllo oppure utilizzare l’automazione per aumentare il volume delle operazioni. Quando sceglie la seconda strada, la persona rimasta nel circuito rischia di diventare il collo di bottiglia che tutti cercheranno di comprimere.

È lo stesso paradosso che avevamo incontrato in Riprendere il controllo: il controllo costa tempo, procedure e rinunce all’efficienza. Qui quel costo assume una forma molto concreta. Possiamo mantenere un essere umano nel processo e, contemporaneamente, sottrargli le condizioni materiali necessarie per controllare davvero.

Per poter dire no bisogna avere potere, competenza e informazioni

Una persona può essere tecnicamente autorizzata a bloccare una decisione e non possedere l’autorità organizzativa per farlo senza conseguenze. Può sapere che un sistema sbaglia in alcuni casi ma non conoscere abbastanza bene i suoi limiti per riconoscere quando ciò stia accadendo. Può essere competente nel dominio — medicina, finanza, selezione del personale, sicurezza — e non conoscere il funzionamento dello strumento che sta supervisionando. Oppure può comprendere lo strumento ma non avere accesso ai dati e al contesto necessari per giudicarne l’output.

Dire che esiste supervisione umana senza distinguere questi elementi rischia di trasformare una struttura organizzativa complessa in una semplice casella da spuntare. Una persona è presente: requisito soddisfatto. Ma ciò che conta non è che qualcuno occupi una posizione nel diagramma del processo. Conta se quella persona può comprendere abbastanza, dispone del tempo per farlo, possiede l’autorità per intervenire e può esercitare quell’autorità senza che l’intero sistema organizzativo la spinga nella direzione opposta.

Il NIST insiste proprio sulla necessità di definire e distinguere ruoli e responsabilità nelle configurazioni uomo-IA e di valutare i processi di supervisione, non limitandosi a presumere che la presenza di un esperto garantisca automaticamente un controllo efficace. È una precisazione importante perché sposta ancora una volta l’attenzione dalla figura simbolica dell’essere umano alle condizioni nelle quali quell’essere umano opera.

La supervisione deve poter cambiare l’esito

Possiamo allora formulare un criterio semplice: il controllo umano esiste davvero quando l’intervento umano può cambiare qualcosa. Non deve necessariamente significare che ogni decisione venga modificata o che l’operatore diffidi sistematicamente del sistema. Significa che deve poter ignorare un output, ribaltarlo, chiedere una verifica, fermare un’azione o interrompere il sistema quando ritiene che continuare sia rischioso.

Se nessuna di queste possibilità è concreta, la supervisione diventa decorativa. Un pulsante di arresto che nessuno è autorizzato a premere, una raccomandazione che teoricamente si può respingere ma che nella pratica viene sempre accettata, un operatore che firma senza poter ricostruire il processo non rappresentano altrettante forme di controllo. Rappresentano modi diversi di conservare la presenza umana mentre il potere decisionale si sposta altrove.

È qui che la questione incontra L’ecosistema delle decisioni. Il controllo non appartiene necessariamente a un solo punto. Può essere distribuito fra chi progetta l’interfaccia, chi decide i tempi, chi stabilisce le metriche, chi configura le soglie, chi assegna l’autorità all’operatore e chi determina che cosa accada quando l’operatore non segue la raccomandazione automatica. Guardare soltanto alla persona che preme l’ultimo pulsante significa vedere l’ultimo anello e scambiarlo per l’intera catena.

Quando la firma concentra una responsabilità che il processo ha disperso

La presenza di un essere umano può quindi svolgere due funzioni opposte. Può essere un vero presidio, capace di introdurre giudizio, contesto e possibilità di arresto. Oppure può diventare il punto nel quale un processo altamente automatizzato deposita la propria responsabilità formale. In questo secondo caso l’uomo non scompare dal sistema; resta esattamente dove serve perché qualcuno possa dire che la decisione finale era umana.

È una forma più sottile di quella responsabilità che stiamo seguendo lungo tutto il percorso. Nei primi due movimenti abbiamo visto come il controllo venga ceduto attraverso autonomia, strumenti e accessi. Qui può accadere qualcosa di diverso: il potere operativo viene distribuito lungo il sistema, mentre la responsabilità viene ricondotta all’ultimo essere umano che compare nella sequenza. La macchina non diventa responsabile, ma nemmeno l’organizzazione sembra più esserlo completamente. Rimane una firma.

Per questo non basta chiedere se ci fosse un essere umano nel circuito. Dobbiamo chiedere che cosa potesse realmente fare, quali informazioni avesse, quanto tempo disponesse, quali conseguenze avrebbe incontrato opponendosi al sistema e chi avesse progettato quelle condizioni.

La domanda da cui partire

La supervisione umana non è una proprietà che compare automaticamente quando inseriamo una persona in un diagramma. È un insieme di capacità, autorità, informazioni, tempo e possibilità di intervento. Può essere forte o debole, effettiva o puramente formale. Può correggere il sistema oppure limitarsi a legittimarlo.

Non si tratta di sostenere che ogni decisione assistita dall’intelligenza artificiale nasconda una firma vuota. In molti casi l’interazione fra competenza umana e capacità automatica può migliorare davvero il risultato. Ma proprio per distinguere quei casi da quelli in cui l’essere umano è soltanto una presenza rituale, dobbiamo smettere di usare “human in the loop” come una risposta e cominciare a trattarlo come una domanda.

Quella domanda è molto concreta: la persona nel circuito poteva davvero dire no — e cambiare ciò che sarebbe accaduto?

Fonti e riferimenti

Unione europea, Regolamento (UE) 2024/1689 sull’intelligenza artificiale, articolo 14 e considerando 73. La norma richiede che la sorveglianza umana dei sistemi ad alto rischio sia effettiva e proporzionata al rischio, al livello di autonomia e al contesto d’uso; prevede inoltre che chi supervisiona possa comprendere capacità e limiti, riconoscere il rischio di automation bias, ignorare o ribaltare l’output e interrompere il sistema, e richiama competenza, formazione e autorità delle persone incaricate.

National Institute of Standards and Technology, Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, NIST SP 1270, 2022. Il documento mette in discussione l’assunzione secondo cui la semplice presenza di un essere umano, anche esperto, garantisca una supervisione efficace e sottolinea quanto le configurazioni uomo-IA dipendano da strutture organizzative, ruoli, competenze e bias cognitivi.

National Institute of Standards and Technology, AI Risk Management Framework — Appendix C: AI Risk Management and Human-AI Interaction, 2023. Il framework richiede di definire e differenziare chiaramente i ruoli umani nella decisione e nella supervisione e considera le configurazioni uomo-IA come parte integrante della gestione del rischio.

OECD, OECD AI Principles, aggiornati nel 2024. I principi collegano supervisione umana, possibilità di intervento, tracciabilità e accountability e insistono sul fatto che gli attori dell’IA restino responsabili in base al proprio ruolo, al contesto e alla propria capacità di agire.