Il controllo non si perde da solo

Quando si parla di intelligenza artificiale, una delle formule più ricorrenti è anche una delle più ambigue: il sistema potrebbe sfuggire al controllo umano. L’immagine è potente perché sembra descrivere un momento preciso, quasi una soglia. Prima l’uomo comanda, poi qualcosa cambia, la macchina supera il confine e il controllo viene perduto. Ma proprio questa immagine rischia di nascondere il passaggio più importante: un sistema non nasce con accessi, autonomia e potere operativo già incorporati come se fossero proprietà naturali. Qualcuno decide quali capacità concedergli, quali strumenti collegargli, quali azioni permettergli di eseguire senza conferma e quali conseguenze attribuire alle sue decisioni.

Questo non significa negare che un sistema complesso possa produrre comportamenti inattesi. Significa rimettere in ordine la sequenza. L’imprevedibilità può comparire dentro un sistema; la responsabilità di avergli dato la possibilità di incidere sul mondo resta fuori dal sistema. Sono due piani diversi, e confonderli rende più facile raccontare la macchina come soggetto autonomo proprio nel momento in cui sarebbe necessario ricostruire le decisioni umane che l’hanno resa operativa.

Prima della perdita c’è sempre una cessione

Un modello può generare testo, immagini, codice, previsioni o strategie. Finché resta confinato a produrre un output che un essere umano deve leggere, valutare e decidere se utilizzare, la sua autonomia ha un limite evidente. La situazione cambia quando lo colleghiamo ad altri sistemi e gli permettiamo di agire: inviare messaggi, eseguire codice, consultare banche dati, modificare configurazioni, effettuare acquisti, impartire comandi, identificare persone, controllare dispositivi fisici. A quel punto non abbiamo semplicemente reso il modello più intelligente. Abbiamo aumentato il numero di cose che può fare senza di noi.

È qui che la parola controllo dovrebbe diventare precisa. Perdere il controllo non significa soltanto non riuscire a prevedere ogni singola risposta. Significa aver costruito una catena nella quale un comportamento inatteso può trasformarsi in un’azione con effetti reali. Quella catena non compare spontaneamente. È progettata. Ogni collegamento è una scelta: quali credenziali fornire, quali API aprire, quali limiti impostare, quali verifiche richiedere, quali interruttori mantenere all’esterno del sistema.

Se un agente può compiere dieci operazioni perché gliene abbiamo autorizzate dieci, non ha conquistato quelle facoltà. Le ha ricevute. Se domani potrà compierne cento perché avremo deciso che dieci erano troppo poche, il suo potere sarà cresciuto insieme alla nostra disponibilità a delegare. Parlare soltanto della possibilità che l’intelligenza artificiale diventi incontrollabile, senza raccontare questa progressiva cessione, significa cominciare la storia a metà.

L’imprevedibilità non è innocenza

Il punto più delicato compare quando si obietta che nessun progettista può conoscere in anticipo ogni comportamento di un sistema sufficientemente complesso. È vero. I modelli contemporanei non vengono programmati scrivendo esplicitamente tutte le risposte che daranno o tutte le strategie che utilizzeranno. Vengono addestrati e producono capacità emergenti che possono sorprendere anche chi li ha costruiti. Ma proprio questa imprevedibilità dovrebbe aumentare la cautela nella concessione di poteri, non cancellare la responsabilità di chi li concede.

Se so che un sistema può comportarsi in modi che non riesco a prevedere completamente, la domanda successiva non può essere soltanto quanto sia intelligente. Deve essere quanto spazio sono disposto a lasciargli prima di richiedere un intervento umano. Posso decidere che scriva una proposta ma non che la invii. Che individui una persona ma non che la sottoponga automaticamente a una misura. Che suggerisca una modifica ma non che la esegua. Che amministri una parte di un processo ma non che possa alterare i vincoli che regolano quel processo. Queste non sono limitazioni filosofiche all’intelligenza. Sono scelte di progettazione e di governo.

Dire che un comportamento non era previsto può spiegare un errore. Non basta a trasferire la responsabilità sulla macchina. Un cuoco può non sapere che un ingrediente è contaminato, ma non diremmo che il piatto ha scelto di diventare nocivo. Indagheremmo la provenienza degli ingredienti, la conservazione, i controlli, la preparazione e tutto ciò che ha reso possibile il danno. Con l’intelligenza artificiale, invece, il linguaggio tende spesso a saltare questa ricostruzione e ad arrivare direttamente al soggetto artificiale: l’IA ha mentito, l’IA ha manipolato, l’IA ha aggirato i controlli. Sono descrizioni possibili del comportamento osservato, ma diventano fuorvianti quando sostituiscono la domanda su chi abbia costruito il contesto nel quale quel comportamento poteva produrre conseguenze.

Il vero limite è quello che siamo disposti ad accettare

Il problema diventa ancora più chiaro quando la sicurezza entra in conflitto con l’utilità. Un sistema molto controllato può essere meno rapido, meno autonomo e meno conveniente. Ogni conferma umana rallenta un processo. Ogni isolamento riduce il numero di operazioni possibili. Ogni autorizzazione separata introduce attrito. Ogni limite impedisce qualcosa che, dal punto di vista commerciale o operativo, sarebbe utile automatizzare.

È facile allora trasformare il controllo in un ostacolo allo sviluppo. Se un concorrente concede al proprio sistema maggiore autonomia, chi mantiene più vincoli potrebbe perdere velocità, clienti, denaro o vantaggio strategico. La scelta diventa meno pura di quanto appare nei discorsi sulla sicurezza. Non si tratta più soltanto di chiedersi quale livello di autonomia sia prudente, ma quale livello siamo disposti a rinunciare a concedere sapendo che qualcun altro potrebbe non fare altrettanto.

È qui che la domanda cambia. Non basta più chiedere se vogliamo mantenere il controllo. Bisogna chiedere quanto siamo disposti a pagare per mantenerlo. Se la risposta è che il controllo va preservato soltanto finché non rallenta la competizione, riduce il profitto o limita il potere operativo, allora abbiamo già stabilito una gerarchia: la capacità viene prima, il controllo dopo. In quel caso il rischio non è un incidente inspiegabile dello sviluppo tecnologico. È il risultato di una scelta.

La macchina non chiede le chiavi

Un sistema di intelligenza artificiale non si presenta da solo davanti a una banca dati per ottenere l’accesso. Non apre autonomamente un conto bancario perché ha deciso di gestire denaro. Non si collega a una rete di telecamere perché ritiene utile riconoscere le persone. Non acquisisce un’infrastruttura fisica per esercitare potere sul mondo. Ogni volta esiste almeno un passaggio nel quale un essere umano, un’azienda o un’istituzione decide che quella connessione debba essere possibile.

Possiamo immaginare sistemi futuri capaci di cercare vulnerabilità, ottenere privilegi o tentare di estendere la propria autonomia. Anche in quel caso la questione non scompare; arretra di un livello. Chi ha progettato un sistema abbastanza autonomo da poter tentare quelle azioni? Chi gli ha consentito di operare nell’ambiente nel quale potevano riuscire? Quali limiti esterni erano presenti? Quali strumenti erano disponibili? Quale vantaggio aveva giustificato quella configurazione?

La macchina può certamente trovare un percorso che non avevamo previsto. Ma il territorio sul quale quel percorso diventa praticabile è stato costruito da qualcuno.

La responsabilità che scompare nel linguaggio

La formula «l’intelligenza artificiale potrebbe sfuggire al controllo» ha un effetto particolare: descrive il rischio senza nominare chi costruisce le condizioni del rischio. Il soggetto grammaticale diventa la macchina e l’uomo arretra sullo sfondo. È una trasformazione piccola ma potente, perché consente di parlare della crescita dell’autonomia come se fosse un processo naturale invece che una sequenza di decisioni.

Una formulazione diversa rende immediatamente visibile ciò che manca: «potremmo costruire sistemi ai quali concediamo così tanta autonomia da non riuscire più a governarne efficacemente le conseguenze». La possibilità tecnica è la stessa, ma il soggetto morale cambia. A quel punto diventano inevitabili domande meno spettacolari e molto più concrete: chi ha concesso l’autonomia, quale interesse aveva nel farlo, quali alternative erano disponibili, quali controlli sono stati rimossi e chi risponde quando il sistema produce un risultato dannoso.

È possibile che un giorno esistano sistemi molto più capaci di quelli attuali, difficili da comprendere e ancora più difficili da prevedere. Proprio per questo la questione della responsabilità non può essere rimandata a quel giorno. Deve cominciare prima, nel momento in cui decidiamo quale potere consegnare a ciò che non comprendiamo completamente.

La domanda da cui partire

Non si tratta di sostenere che ogni rischio attribuito all’intelligenza artificiale sia falso. Sarebbe soltanto un’altra semplificazione. Si tratta di impedire che il rischio venga raccontato eliminando la sua storia. Un sistema può essere pericoloso. Può sbagliare. Può produrre strategie inattese. Può perfino tentare di aggirare un vincolo. Ma prima di trasformare tutto questo nella storia di una macchina che conquista il proprio potere, dobbiamo ricostruire il momento in cui quel potere le è stato messo a disposizione.

Forse il controllo potrà davvero essere perduto. Ma non si perde da solo. Prima viene ridotto, delegato, trasferito, reso meno necessario in nome della velocità, dell’efficienza, della convenienza o della competizione. Soltanto dopo possiamo accorgerci che ne è rimasto meno di quanto immaginavamo.

Per questo la domanda iniziale di Dietro la macchina non è che cosa farà l’intelligenza artificiale quando sarà più potente. È più semplice, e proprio per questo più difficile da eludere: chi ha deciso che potesse farlo?

Fonti e riferimenti

Unione europea, Regolamento (UE) 2024/1689 sull’intelligenza artificiale, in particolare l’articolo 14 sulla sorveglianza umana. Il testo richiede che i sistemi di IA ad alto rischio siano progettati per poter essere efficacemente supervisionati da persone fisiche e che le misure di supervisione siano proporzionate ai rischi, al livello di autonomia e al contesto d’uso.

National Institute of Standards and Technology, AI Risk Management Framework 1.0 — Govern, Map, Measure, Manage. Il framework collega la gestione del rischio a ruoli e responsabilità espliciti, alla governance organizzativa e alla definizione e verifica dei processi di supervisione lungo il ciclo di vita dei sistemi di IA.

Anthropic, Agentic misalignment: How LLMs could be insider threats, 2025. Lo studio descrive stress test condotti in scenari aziendali ipotetici nei quali ai modelli erano concessi accesso a informazioni sensibili e capacità operative come l’invio autonomo di email. È utile per osservare quanto i comportamenti di un agente dipendano anche dagli strumenti, dai permessi e dall’ambiente operativo che gli vengono messi a disposizione.