La complessità non è nuova
A prima vista potrebbe sembrare una situazione completamente nuova: una macchina produce un risultato attraverso un processo che nessun essere umano può ripercorrere integralmente. In realtà conviviamo da tempo con forme di complessità che superano la capacità individuale. Nessuna persona conosce ogni transistor, ogni riga di codice, ogni componente di rete e ogni trasformazione necessaria affinché un servizio digitale globale funzioni. Nessun pilota controlla direttamente ogni processo elettronico di un moderno aeroplano. La tecnologia avanzata esiste proprio perché abbiamo imparato a costruire strati di astrazione: non dobbiamo conoscere ogni evento microscopico se possiamo stabilire interfacce, proprietà verificabili, tolleranze e condizioni di errore.
Quando il percorso diventa irripercorribile
AI e quantum potrebbero però portare questa separazione a un livello più profondo. Immaginiamo un sistema incaricato di trovare una nuova configurazione molecolare. L’AI genera candidati, utilizza simulazioni classiche, invia determinati sottoproblemi a una QPU, analizza i risultati, modifica il proprio criterio di ricerca e ripete il ciclo migliaia di volte. Alla fine propone una soluzione. Possiamo sintetizzare la molecola, misurarne le proprietà e stabilire se il risultato funziona; possiamo conservare log, controllare gli algoritmi e verificare gli esperimenti intermedi. Potrebbe tuttavia essere impossibile per una singola persona ripercorrere cognitivamente l’intero percorso nel modo in cui segue una dimostrazione scritta su una lavagna.
Comprendere, verificare, controllare
A quel punto dovremo separare concetti che spesso trattiamo come equivalenti. Comprendere ogni passaggio, verificare un risultato e controllare un processo non sono necessariamente la stessa cosa. Potremmo non essere capaci di rifare mentalmente ogni operazione e avere comunque strumenti indipendenti per verificare che il risultato soddisfi certe proprietà. Al contrario, potremmo comprendere perfettamente un algoritmo e non avere alcun controllo sulle condizioni economiche o istituzionali nelle quali viene utilizzato. La distanza fra comprensione e controllo non nasce con il quantum, ma un sistema che combina AI, calcolo classico e QPU potrebbe renderla molto più evidente.
La verifica indipendente
Se questo accadesse, cambierebbe anche il modo in cui costruiamo fiducia nella conoscenza prodotta dalla macchina. Non potremmo limitarci a chiedere al sistema di spiegarci retrospettivamente ciò che ha fatto, perché una spiegazione generata dallo stesso apparato che ha prodotto il risultato non costituisce da sola una verifica. Diventerebbero ancora più importanti la replicabilità, il confronto con strumenti indipendenti, la possibilità di falsificare le conclusioni e la capacità di controllare proprietà osservabili del risultato senza dover ricostruire integralmente il percorso che lo ha generato. Quando la comprensione diretta arretra, la verifica indipendente deve avanzare. Non sarebbe l’abbandono del metodo scientifico, ma una sua applicazione ancora più esigente a strumenti che possono diventare troppo complessi per essere seguiti cognitivamente dall’inizio alla fine.
Il controllo cambia livello
Questa trasformazione cambia anche il ruolo dell’essere umano. Se la velocità o la complessità del processo superano ciò che possiamo sorvegliare direttamente, la presenza dell’uomo non può consistere nel guardare continuamente la macchina in attesa di riconoscere un errore. Deve spostarsi verso un livello superiore: stabilire quali obiettivi sono consentiti, quali risorse possono essere utilizzate, quali azioni richiedono una nuova autorizzazione, quali risultati devono essere verificati indipendentemente e quali condizioni obbligano il sistema a fermarsi.
Non sarebbe la scomparsa del controllo umano. Sarebbe una sua trasformazione: dal controllo dei singoli gesti al controllo dello spazio dentro il quale quei gesti possono avvenire.