Quando fermarsi costa
Rimane però un problema che nessuna architettura tecnica può risolvere da sola. Anche supponendo di costruire un sistema perfettamente osservabile e interrompibile, qualcuno dovrà decidere quando utilizzare quella possibilità. È qui che il nostro viaggio smette definitivamente di riguardare soltanto la fisica e l’informatica.
La stessa macchina, interessi diversi
Immaginiamo che un’infrastruttura AI-quantum produca un vantaggio concreto nella ricerca sui materiali, nella chimica, nella progettazione industriale o in qualche altro settore nel quale il calcolo quantistico riesca davvero a dimostrare utilità. Fermarla potrebbe significare rinunciare a investimenti enormi, perdere mesi di ricerca, lasciare un vantaggio strategico a un concorrente o rallentare una tecnologia economicamente preziosa. Il tecnico potrebbe segnalare che il sistema sta operando in condizioni non sufficientemente comprese; il dirigente potrebbe vedere miliardi investiti; un governo potrebbe vedere un vantaggio strategico; un altro Stato potrebbe scegliere di continuare. Tutti osservano la stessa macchina, ma non possiedono lo stesso incentivo a premere l’interruttore.
La cecità da incentivo
A quel punto il controllo diventa una questione di potere. Non basta domandarsi chi abbia tecnicamente la capacità di fermare il sistema; dobbiamo chiederci chi possieda l’autorità per farlo, quali informazioni riceva, quali pressioni subisca e quali conseguenze sia disposto ad accettare. Più una tecnologia diventa utile, più può diventare costoso limitarla. È un paradosso antico, una sorta di “cecità da incentivo” collettiva che ricalca dinamiche storiche ben note. È lo stesso meccanismo sistemico che osserviamo nella crisi climatica globale o che l’umanità ha vissuto durante la corsa agli armamenti nucleari nella seconda metà del Novecento: sappiamo esattamente dove si trova il freno d’emergenza, ma nessun attore geopolitico o industriale osa essere il primo a rallentare, terrorizzato dall’idea che il proprio avversario scelga invece di accelerare. Il momento nel quale serve maggiore prudenza coincide strutturalmente proprio con quello nel quale esistono gli incentivi economici e strategici più feroci per continuare.
Quando il controllo diventa potere
Qui la macroeconomia, la geopolitica e la politica entrano inevitabilmente nella stanza. Non perché il computer quantistico possieda un’ideologia, ma perché ogni tecnologia capace di produrre un vantaggio significativo modifica gli equilibri fra chi la possiede e chi non la possiede. La scelta di interrompere un processo non avverrebbe quindi nel vuoto. Potrebbe essere influenzata dalla competizione industriale, dalla sicurezza nazionale, dagli interessi delle imprese, dalla reputazione di un laboratorio e dalla paura di essere superati. L’interruttore esiste ancora, ma accanto alla mano compare tutto ciò che quella mano rischia di perdere premendolo.
Il prezzo della rinuncia
È questa, probabilmente, la parte più scomoda della questione. Possiamo progettare sistemi migliori, definire soglie, costruire verifiche e conservare la possibilità di interrompere. Nessun algoritmo può però garantirci che l’essere umano scelga di fermarsi quando farlo diventa economicamente, scientificamente o politicamente doloroso. La qualità del controllo non dipende soltanto dalla macchina che abbiamo costruito, ma dalla nostra capacità di rinunciare al vantaggio che quella macchina promette quando giudichiamo che il prezzo sia diventato troppo alto.