Il pulsante che rassicura
Arrivati qui compare un’immagine molto semplice: l’interruttore. Per quanto potente, autonomo o complesso possa diventare un sistema, vogliamo conservare la possibilità di fermarlo. È un’intuizione ragionevole, ma rischia di essere rassicurante soltanto finché non chiediamo che cosa significhi davvero interrompere un processo distribuito fra modelli di AI, processori classici, infrastrutture di rete e risorse quantistiche.
Il problema del tempo
Un interruttore è utile soltanto se sappiamo quando premerlo. Dobbiamo ricevere informazioni comprensibili prima che il problema diventi irreversibile, distinguere un comportamento anomalo da uno semplicemente inatteso, stabilire soglie che obblighino all’interruzione e avere realmente l’autorità tecnica per modificare le regole mentre il sistema è in funzione. Se un operatore umano scopre dopo tre ore che avrebbe dovuto fermare un processo che prendeva migliaia di decisioni al secondo, la presenza formale di un pulsante non equivale a una supervisione efficace. Il controllo deve essere pensato insieme alla velocità e alla scala della macchina.
Un margine per decidere
Qui compare un problema ulteriore: il tempo della macchina e il tempo della deliberazione umana non coincidono. Un sistema può correggere errori, selezionare percorsi o modificare strategie in intervalli nei quali una persona non ha nemmeno il tempo materiale di formulare una decisione. La soluzione non può essere pretendere che l’essere umano pensi alla velocità della macchina. Dovremo piuttosto progettare livelli intermedi capaci di sospendere, confinare o rendere reversibili determinate azioni finché una decisione umana non sia possibile. In altre parole, fra la velocità del calcolo e la lentezza necessaria a valutare le conseguenze potrebbe essere necessario costruire un margine temporale artificiale: non per rallentare tutto il sistema, ma per impedire che ciò che richiede deliberazione diventi irreversibile prima che la deliberazione possa avvenire.
Il controllo dentro l’architettura
Questo significa che la mano sull’interruttore non può essere soltanto fisica. Deve esistere nell’architettura. Un sistema complesso può avere limiti di accesso, autorizzazioni progressive, capacità computazionali massime, risorse interdette, verifiche obbligatorie e condizioni automatiche di sospensione. Alcune decisioni potrebbero richiedere un’autorizzazione umana aggiuntiva; altre potrebbero essere consentite soltanto dentro ambienti isolati. L’intervento umano efficace non consiste necessariamente nel comandare ogni operazione, ma nel poter modificare i confini entro i quali l’operazione è possibile.
Quando l’ingegneria incorpora scelte
A quel livello, l’architettura smette di essere una questione puramente tecnica. Decidere quali azioni siano impossibili, quali richiedano un’autorizzazione, quali risorse restino inaccessibili e quali condizioni impongano l’arresto significa trasformare scelte normative in proprietà del sistema. Una parte dell’etica finisce quindi per essere incorporata nell’ingegneria, non perché i valori possano essere ridotti a codice, ma perché ogni confine tecnico rende alcune possibilità più facili, altre più difficili e altre ancora impraticabili. Prima ancora di chiedere alla macchina di scegliere bene, dobbiamo decidere quali scelte non vogliamo lasciarle compiere da sola.
Prima della responsabilità
È anche qui che questo percorso si separa da quello della responsabilità che scompare. Il problema non è stabilire chi debba rispondere dopo che qualcosa è accaduto. Viene prima. La domanda è se chi possiede formalmente la responsabilità disponga ancora degli strumenti e delle informazioni necessari per intervenire mentre il processo è in corso. Potremmo costruire sistemi nei quali il controllo giuridico rimane umano ma il controllo operativo diventa così distante, lento o mediato da perdere gran parte del proprio significato.
Il vero interruttore
Il vero interruttore del futuro, quindi, potrebbe non assomigliare affatto a un grande pulsante rosso. Potrebbe essere un insieme di regole tecniche e istituzionali che garantiscono una cosa molto semplice da dire e difficilissima da realizzare: quando l’uomo decide che il processo deve cambiare o fermarsi, la macchina deve essere ancora costruita in modo da permetterglielo.