Il controllo dell’intelligenza artificiale non comincia dal pulsante che permette di fermarla. Comincia molto prima, nel momento in cui decidiamo che cosa può fare senza di noi.
Sul monitor compaiono due pulsanti. Uno dice Approva, l’altro Rifiuta. È una scena rassicurante: la macchina propone, l’essere umano controlla e alla fine decide. Possiamo concedere all’intelligenza artificiale capacità sempre maggiori senza rinunciare alla responsabilità, perché da qualche parte, alla fine del processo, resta una persona capace di dire sì oppure no. È una delle immagini più persistenti con cui abbiamo cercato di rendere compatibile l’automazione con il controllo umano: human in the loop, l’uomo dentro il circuito.
Ma basta osservare quella scena un poco più a lungo perché la sua semplicità cominci a incrinarsi. Quanto tempo ha avuto quella persona per esaminare ciò che sta approvando? Quali informazioni possiede? Sa ricostruire il percorso attraverso il quale il sistema è arrivato alla sua proposta? Conosce le alternative che sono state scartate? Può verificare i dati utilizzati? Sa quali operazioni siano già state compiute? Può realmente interrompere il processo, oppure può soltanto rifiutarne l’ultimo risultato? E soprattutto: quante volte, prima di questa, ha premuto Approva?
Il pulsante esiste; l’essere umano è formalmente presente; il circuito può quindi essere descritto come sottoposto a supervisione umana. Eppure non sappiamo ancora se qualcuno stia davvero controllando qualcosa. È questa distinzione, apparentemente piccola, che diventa sempre più importante mentre passiamo dai sistemi che producono risposte ai sistemi capaci di compiere azioni.
Dalla risposta all’azione
Per molto tempo abbiamo immaginato l’intelligenza artificiale soprattutto come uno strumento che riceve un input e produce un output: una classificazione, una previsione, una risposta, un suggerimento. In uno schema simile è relativamente semplice individuare il momento della supervisione: il sistema produce qualcosa, una persona lo esamina e decide se utilizzarlo.
I sistemi agentici cambiano la struttura del problema. Non ricevono necessariamente una domanda alla quale fornire una sola risposta; possono ricevere un obiettivo, scomporlo in compiti intermedi, scegliere una strategia, utilizzare strumenti esterni, raccogliere nuove informazioni e compiere una sequenza di azioni prima di arrivare al risultato finale. Un recente lavoro di Kevin Baum, Maximilian Kiener, Markus Langer e Johann Laux parte proprio da questa trasformazione. Gli autori osservano che la supervisione puramente reattiva incontra, con gli agenti, un limite strutturale: controllare ogni singola azione finirebbe per annullare buona parte dell’autonomia per la quale il sistema è stato introdotto; intervenire soltanto alla fine, invece, può significare accorgersi troppo tardi delle conseguenze prodotte lungo il percorso.
È un problema meno spettacolare della macchina che sfugge improvvisamente al controllo, ma probabilmente molto più interessante. Non abbiamo necessariamente perso il controllo perché il sistema ha conquistato qualcosa; potremmo averlo reso inefficace nel modo stesso in cui abbiamo organizzato la delega. Se incarico un agente di gestire una campagna pubblicitaria, acquistare servizi, selezionare candidati, classificare richieste, amministrare un budget o prendere una serie di decisioni operative, non posso contemporaneamente pretendere che un essere umano rivaluti in tempo reale ogni singola scelta. Se lo facesse, l’automazione perderebbe buona parte della propria utilità; ma se quella verifica non avviene, la domanda diventa inevitabile: dove si trova allora il controllo?
La risposta più interessante potrebbe essere: prima.
Il controllo prima del controllo
Baum e colleghi propongono di affiancare alla supervisione reattiva una forma di controllo anticipatorio. Il punto non è prevedere ogni azione futura del sistema – cosa che renderebbe inutile parlare di autonomia – ma definire in anticipo lo spazio entro il quale quell’autonomia può essere esercitata: obiettivi, vincoli, condizioni di escalation, criteri che obblighino il sistema a fermarsi o a richiedere l’intervento umano.
Il passaggio è importante perché modifica il luogo nel quale siamo abituati a cercare la responsabilità. Tendiamo a cercarla nel momento dell’azione: chi ha premuto il pulsante? Chi ha approvato? Chi avrebbe potuto intervenire? Ma in un sistema sufficientemente autonomo alcune delle decisioni più importanti sono già state prese molto prima che l’agente inizi a lavorare: quale obiettivo gli abbiamo assegnato; quali strumenti gli abbiamo permesso di utilizzare; a quali dati può accedere; quali azioni può compiere senza autorizzazione; quali conseguenze devono obbligarlo a fermarsi; quanto può spendere, modificare, inviare, cancellare, acquistare o comunicare prima di chiedere conferma.
Il controllo umano non scompare: cambia posizione. Non è più soltanto la mano che può fermare la macchina; è anche la mano che ha disegnato il recinto nel quale la macchina può muoversi. Ed è proprio qui che l’espressione human in the loop rischia di diventare insufficiente. Ci dice che un essere umano compare da qualche parte nel processo, ma non ci dice quale potere abbia realmente; non ci dice se possieda informazioni sufficienti, se possa modificare il corso dell’azione, se intervenga prima che le conseguenze siano irreversibili e nemmeno se abbia conservato le competenze necessarie per comprendere ciò che sta osservando. È la stessa distinzione che abbiamo già incontrato nel movimento sulla presenza umana che può ridursi a una firma: essere presenti nel processo non significa necessariamente poterlo governare.
Il supervisore che dimentica come si supervisiona
C’è infatti un secondo problema, più sottile. Margaret Mitchell, Avijit Ghosh e Samir Passi hanno recentemente richiamato l’attenzione su un paradosso già noto negli studi sull’automazione ma destinato a diventare particolarmente rilevante con gli agenti: l’uso prolungato di sistemi automatici può indebolire proprio le capacità umane delle quali la supervisione dovrebbe avere bisogno.
È facile immaginare il meccanismo. Un sistema produce risultati affidabili per settimane, mesi, forse anni; l’essere umano incaricato di verificarli incontra raramente un errore. Progressivamente la verifica diventa più rapida, poi routinaria, infine quasi automatica. Non necessariamente per negligenza: è semplicemente difficile mantenere la stessa attenzione davanti a una sequenza quasi infinita di decisioni corrette.
Nel frattempo cambia qualcos’altro. Mentre il sistema svolge sempre più attività, la persona ne svolge sempre meno; alcune competenze vengono esercitate raramente, la familiarità con il processo diminuisce. Quando finalmente compare l’anomalia per la quale la presenza umana dovrebbe essere decisiva, il supervisore potrebbe essere proprio la persona meno allenata a riconoscerla. Il paradosso è notevole: più affidabile diventa l’automazione, più difficile può diventare esercitare efficacemente il controllo umano nel raro momento in cui serve davvero.
Anche qui il problema non è una macchina che elimina deliberatamente l’essere umano; è un’organizzazione che attribuisce alla presenza umana una funzione che non si preoccupa di mantenere concretamente esercitabile. Possiamo mettere un pilota nella cabina, ma se per anni non gli chiediamo più di pilotare nulla non basta indicarlo nell’organigramma per dire che possediamo ancora un sistema di controllo.
La presenza non è il potere
A questo punto possiamo cominciare a distinguere almeno due cose che continuiamo a chiamare con lo stesso nome. La prima è la presenza umana: qualcuno riceve informazioni, osserva, firma, autorizza, può teoricamente intervenire. La seconda è il controllo umano effettivo: quella persona dispone del tempo, delle informazioni, delle competenze e dell’autorità necessari per comprendere ciò che accade e modificare il corso dell’azione prima che sia troppo tardi.
Le due condizioni non coincidono. Un medico che riceve in pochi secondi una raccomandazione generata da un sistema potrebbe essere formalmente responsabile della decisione finale, ma la sua capacità di valutarla dipenderà da ciò che gli viene mostrato, dal tempo disponibile, dalla propria esperienza e dal grado di dipendenza che l’organizzazione ha sviluppato nei confronti del sistema. Un dipendente che deve approvare centinaia di decisioni automatiche ogni giorno può avere tecnicamente il diritto di respingerle tutte e non possedere praticamente la possibilità di esaminarle davvero. Un responsabile può essere autorizzato a interrompere un agente, ma ricevere l’allarme soltanto dopo che l’agente ha già compiuto una sequenza di operazioni difficili da annullare.
In tutti questi casi possiamo mantenere l’essere umano nel circuito e contemporaneamente svuotarne la funzione. Il problema, allora, non è soltanto chiedere: c’è ancora un uomo? Bisogna chiedere: che cosa può ancora fare?
Chi ha permesso alla macchina di decidere?
Questo spostamento diventa ancora più interessante quando entriamo nel terreno della responsabilità. L’autonomia dei sistemi agentici alimenta facilmente un’intuizione: se non sappiamo esattamente quale azione sceglierà il sistema e se non controlliamo direttamente ogni passaggio, allora la nostra responsabilità dovrebbe diminuire insieme al nostro controllo.
Kennedy Chun Yin Kong definisce questa inferenza una delegation illusion, un’illusione della delega. Nel suo lavoro distingue la distanza dell’essere umano dalla singola azione dalla responsabilità per aver creato le condizioni nelle quali quella azione poteva verificarsi. La crescente autonomia dell’agente può rendere più difficile attribuire al delegante la paternità della singola decisione, ma non elimina automaticamente la sua responsabilità per la scelta precedente di delegare quel compito a quel sistema, con quegli obiettivi e quei vincoli.
È una distinzione fondamentale. Se un agente compie un’azione che nessuno gli aveva ordinato specificamente, possiamo certamente dire che il delegante non ha scelto direttamente quell’azione; resta però una domanda precedente: chi ha scelto di affidare a quel sistema la possibilità di scegliere?
Kong concentra precisamente lì la responsabilità: nell’atto della delega, nella scelta dell’obiettivo, dei vincoli e delle condizioni nelle quali il sistema viene lasciato operare. La sua tesi non equivale a sostenere che chi utilizza un agente sia responsabile di qualunque conseguenza concepibile; la responsabilità dipende anche dalla prevedibilità dei tipi di rischio che quella configurazione poteva ragionevolmente produrre.
Ma significa che l’autonomia non è una lavanderia della responsabilità. Non possiamo concedere libertà operativa a un sistema e utilizzare successivamente proprio quella libertà come prova del fatto che nessuno fosse più responsabile di ciò che avrebbe potuto ragionevolmente accadere. È il punto che abbiamo osservato anche analizzando gli agenti IA e i limiti della delega: l’obiettivo raggiunto non basta se il percorso attraverso il quale è stato raggiunto oltrepassa autorizzazioni e confini.
La responsabilità si sposta, non evapora
Qui i tre problemi cominciano a convergere: gli agenti rendono insufficiente un controllo esclusivamente reattivo; l’automazione può indebolire le capacità necessarie per esercitare la supervisione; la distanza dalla singola azione non cancella la responsabilità per avere creato il perimetro nel quale quell’azione poteva essere scelta. Il risultato suggerisce una concezione del controllo umano molto meno semplice del tradizionale uomo-dentro-il-circuito.
Potremmo pensarla attraverso tre momenti, senza trasformarli in altrettante caselle burocratiche. Prima, qualcuno deve stabilire lo spazio dell’autonomia: obiettivi, strumenti, dati accessibili, limiti, azioni vietate, soglie oltre le quali è necessaria un’autorizzazione. Durante, qualcuno deve possedere la capacità reale di capire che cosa sta accadendo e intervenire nei punti nei quali l’intervento conserva ancora un significato. Dopo, dobbiamo poter ricostruire chi abbia stabilito quelle condizioni, quali informazioni possedesse e perché abbia ritenuto accettabile quella delega.
Solo mettendo insieme questi tre momenti possiamo cominciare a parlare seriamente di controllo umano; altrimenti rischiamo di costruire sistemi nei quali la persona è presente soprattutto per fornire una firma finale alla decisione della macchina. In questo senso il controllo non appartiene mai a un solo istante: entra nell’intero ecosistema delle decisioni, dal modo in cui si definisce l’obiettivo fino al momento in cui qualcuno deve rispondere delle conseguenze.
L’uomo come alibi
Esiste infatti una conseguenza ancora più scomoda: l’essere umano nel circuito può smettere di essere una garanzia e diventare un alibi. Basta inserire un passaggio umano nel processo per poter dichiarare che la decisione finale non è automatizzata; basta chiedere una conferma per poter sostenere che qualcuno avrebbe potuto intervenire; basta mantenere formalmente un responsabile perché la catena della responsabilità sembri intatta.
Ma se quella persona non possiede condizioni realistiche per esercitare il proprio giudizio, non abbiamo conservato il controllo umano: abbiamo conservato soltanto la sua rappresentazione amministrativa.
È forse questo il punto nel quale la discussione sull’intelligenza artificiale dovrebbe cominciare a cambiare linguaggio. Non dovremmo domandarci soltanto quanta autonomia possieda una macchina; dovremmo domandarci quanta capacità decisionale reale resti all’essere umano che la circonda.
Perché l’autonomia della macchina e il controllo umano non sono necessariamente due quantità che si sottraggono automaticamente l’una dall’altra. Possiamo costruire sistemi molto autonomi nei quali i confini sono chiari, l’escalation è progettata bene e le responsabilità sono identificabili; e possiamo costruire sistemi molto meno autonomi nei quali l’essere umano approva tutto senza comprendere quasi nulla.
Il problema non è quindi misurare soltanto quanto la macchina possa fare da sola: è capire come abbiamo deciso che potesse farlo.
La domanda che viene prima
Torniamo allora ai due pulsanti: Approva. Rifiuta.
Ora sappiamo che ci raccontano molto meno di quanto sembrasse all’inizio. Non sappiamo chi abbia deciso che quella proposta potesse essere formulata; non sappiamo quali possibilità fossero state concesse al sistema prima di arrivare a quel punto; non sappiamo se il supervisore disponga delle informazioni necessarie per giudicare, né se abbia conservato le competenze per farlo; non sappiamo quali operazioni siano già avvenute e quali possano ancora essere fermate.
La responsabilità non comincia quando qualcuno sceglie fra quei due pulsanti: comincia molto prima. Comincia quando decidiamo che una macchina possa accedere a determinati strumenti, interpretare determinati obiettivi, scegliere fra determinate alternative e agire entro un perimetro che qualcuno ha costruito per lei.
Per questo tenere l’uomo nel circuito non basta. Il controllo umano non consiste nell’avere qualcuno seduto accanto alla macchina, pronto a interromperla nel momento giusto; consiste nel costruire un sistema nel quale l’essere umano conservi realmente la possibilità di capire, decidere e rispondere delle proprie decisioni.
E forse la domanda più importante non è quella che continuiamo a porre alla fine: Perché la macchina ha fatto questo? La domanda decisiva viene prima: Perché abbiamo permesso alla macchina di poterlo fare?
Fonti e riferimenti
- Kevin Baum, Maximilian Kiener, Markus Langer, Johann Laux, Anticipatory Human Oversight of Agentic AI: A Philosophical Account, 2026. arXiv.
- Margaret Mitchell, Avijit Ghosh, Samir Passi, AI Agents Push Humans Out of the Loop, 2026. arXiv.
- Kennedy Chun Yin Kong, The delegation illusion: why deploying autonomous AI agents does not diminish principal responsibility, AI and Ethics, 2026. Springer Nature.