1. Proteggersi significa cambiare qualcosa
Quando una paura diventa abbastanza forte, prima o poi cerchiamo una soluzione. È quasi inevitabile. Possiamo convivere per un certo tempo con l’incertezza, con il dubbio, perfino con la sensazione di non avere pieno controllo, ma se la minaccia continua a sembrarci reale cominciamo a costruire qualcosa che dovrebbe ridurla: una regola, una procedura, uno strumento, un limite, un sistema di sorveglianza, una tecnologia capace di intervenire prima che il rischio diventi danno.
È così che funzionano molte delle nostre risposte al pericolo. Non eliminiamo necessariamente ciò che temiamo; modifichiamo l’ambiente in modo da renderlo più gestibile. Mettiamo freni più efficaci sulle automobili invece di rinunciare alle automobili, costruiamo sistemi antincendio invece di eliminare ogni fonte di calore, introduciamo controlli sanitari invece di smettere di viaggiare. Una soluzione efficace non cancella il rischio: ci permette di vivere con esso in condizioni che giudichiamo più accettabili.
Con l’intelligenza artificiale accade qualcosa di simile, ma con una particolarità che rende il problema più interessante. Molte delle soluzioni pensate per governare sistemi complessi richiedono a loro volta sistemi complessi. Per capire ciò che un modello sta facendo possiamo aver bisogno di strumenti automatici che ne analizzino il comportamento; per riconoscere contenuti generati artificialmente possiamo utilizzare altri modelli; per individuare attività sospette possiamo affidare il controllo a sistemi capaci di esaminare una quantità di dati che nessun gruppo umano riuscirebbe a seguire direttamente.
La paura trova così una risposta che non consiste nel ridurre la tecnologia, ma spesso nel costruirne altra.
2. Una soluzione può funzionare davvero
Sarebbe troppo semplice raccontare questo passaggio come un errore, perché molte di queste soluzioni funzionano davvero. Un sistema automatico può riconoscere anomalie prima di un essere umano, filtrare contenuti pericolosi, individuare transazioni sospette, aiutare a controllare una rete informatica, segnalare comportamenti inattesi in un modello o ridurre il numero di errori che una persona sarebbe inevitabilmente destinata a commettere quando deve osservare migliaia di eventi contemporaneamente. In questi casi può darsi che abbiamo trovato il modo migliore disponibile per proteggerci.
Ed è proprio l’efficacia a rendere il passaggio meno semplice. Una misura chiaramente inutile o dannosa sarebbe relativamente facile da abbandonare; una soluzione che riduce gli errori viene invece utilizzata di più, viene applicata a nuove situazioni e può rendere gestibili sistemi che prima sarebbero stati troppo complessi. Il suo successo modifica quindi anche ciò che siamo disposti a fare, non perché diventiamo improvvisamente irresponsabili, ma perché una protezione efficace cambia il rischio che percepiamo e può permetterci di spingerci più avanti di quanto avremmo fatto senza di essa. In questo modo una soluzione nata per ridurre la paura può cominciare a modificare anche la scala di ciò che continuiamo a costruire.
3. Quando la sicurezza permette di osare di più
Conosciamo questo meccanismo anche fuori dall’intelligenza artificiale. Quando introduciamo una protezione efficace, non sempre conserviamo esattamente lo stesso comportamento di prima godendoci semplicemente una riduzione del rischio. Qualche volta cambiamo comportamento proprio perché ci sentiamo più protetti.
Non è necessario pensare a qualcuno che deliberatamente decide di esporsi a un pericolo maggiore. Il cambiamento può essere graduale. Se un sistema diventa più sicuro, possiamo utilizzarlo più spesso; se un’attività diventa più controllabile, possiamo estenderla; se una tecnologia dispone di più barriere contro gli errori, possiamo sentirci più tranquilli nell’affidarle compiti che prima avremmo giudicato troppo delicati.
Nel caso dell’intelligenza artificiale questo può produrre una conseguenza particolare. Migliorare i sistemi di controllo, verifica e sicurezza non rende soltanto più sicure le capacità esistenti; può rendere politicamente, economicamente e psicologicamente più accettabile svilupparne di nuove. La sicurezza diventa allora una condizione che permette l’espansione.
Non c’è nulla di necessariamente contraddittorio in questo. È precisamente ciò che vogliamo da una buona misura di sicurezza: permetterci di fare qualcosa che prima sarebbe stato troppo pericoloso. Ma quando la cosa che rendiamo possibile è anche quella che temiamo possa diventare eccessivamente potente, dobbiamo chiederci se la protezione stia semplicemente riducendo il rischio oppure stia contribuendo, indirettamente, ad aumentare la scala del fenomeno che deve continuare a controllare.
Dobbiamo quindi chiederci non soltanto quanto sia efficace una soluzione, ma anche che cosa renda possibile dopo aver funzionato.
4. La paura cambia oggetto
Immaginiamo che una parte delle preoccupazioni sull’intelligenza artificiale riguardi la possibilità che sistemi sempre più autonomi compiano azioni difficili da prevedere. Per affrontare il problema costruiamo strumenti migliori di supervisione, sistemi capaci di riconoscere comportamenti anomali e procedure automatiche che intervengono quando vengono superate determinate soglie.
Dopo qualche tempo possiamo scoprire che quei sistemi funzionano abbastanza bene da permetterci di utilizzare agenti più autonomi di quanto avremmo fatto prima. Ci sentiamo più tranquilli perché sappiamo che esistono controlli automatici capaci di osservare ciò che accade e intervenire rapidamente, ma proprio allora compare una nuova domanda: quanto possiamo fidarci dei sistemi che controllano gli altri sistemi?
La paura iniziale riguardava l’autonomia dell’IA; la soluzione ha introdotto un nuovo livello di automazione per sorvegliarla, e ora possiamo cominciare a preoccuparci dell’affidabilità di quel secondo livello, delle sue eventuali vulnerabilità, della possibilità che non riconosca un comportamento imprevisto o che commetta errori proprio mentre dovrebbe impedirli. Non siamo tornati al punto di partenza, perché il sistema può essere realmente più sicuro di prima, ma la paura si è spostata: riguarda ancora ciò che il modello potrebbe fare e, insieme, ciò che il sistema di controllo potrebbe non riuscire a vedere. Se aggiungiamo un ulteriore livello di verifica possiamo ridurre ancora il rischio, creando però un altro elemento dal quale dipendere e cambiando nuovamente la forma del problema che volevamo risolvere.
5. Dipendere per sentirsi più sicuri
Una delle conseguenze meno visibili delle soluzioni efficaci è la dipendenza che producono, non necessariamente nel senso negativo che attribuiamo alla parola quando parliamo di dipendenze personali. Dipendiamo continuamente da infrastrutture che rendono la nostra vita migliore — reti elettriche, sistemi sanitari, comunicazioni digitali, trasporti, servizi bancari — e questa dipendenza può essere il prezzo ragionevole di una maggiore capacità. Ma quando una tecnologia diventa indispensabile per controllarne un’altra, cambia anche la natura della nostra sicurezza: non siamo più al sicuro soltanto perché abbiamo ridotto il rischio, ma perché continua a funzionare il sistema che lo tiene sotto controllo.
Se utilizziamo l’intelligenza artificiale per difendere reti informatiche, quella difesa può essere molto più efficace di una sorveglianza esclusivamente umana. Dopo un certo tempo, però, potremmo costruire infrastrutture così complesse e veloci da non poter più essere protette senza quegli stessi strumenti. La sicurezza aumenta, ma aumenta anche il costo di rinunciare alla tecnologia che la rende possibile, e la paura può trovare così un nuovo oggetto: non soltanto ciò che il sistema potrebbe fare, ma anche la possibilità che smetta di funzionare, venga compromesso, diventi indisponibile o che qualcun altro disponga di sistemi migliori dei nostri. La tecnologia introdotta per ridurre una paura può quindi diventare qualcosa la cui perdita produce una paura diversa.
6. La soluzione che crea la propria necessità
Esiste un momento difficile da riconoscere nel quale uno strumento smette di essere semplicemente utile e diventa necessario perché il mondo intorno a esso è cambiato. All’inizio possiamo introdurre l’intelligenza artificiale per affrontare un problema che potremmo comunque gestire, seppure con maggiore difficoltà; poi l’automazione permette di aumentare la scala del sistema, accelerare i processi, analizzare più informazioni e prendere più decisioni, finché tornare al metodo precedente non significa più soltanto rinunciare a un vantaggio ma diventa difficile proprio perché l’ambiente è stato costruito presupponendo l’esistenza dello strumento.
È ciò che accade spesso con le tecnologie di successo: non restano semplicemente dentro il mondo che le ha accolte, ma lo modificano fino a renderlo adatto alla loro presenza. Se sistemi automatici permettono di gestire più dati, tenderemo a produrne e utilizzarne di più; se consentono decisioni più rapide, organizzeremo processi che richiedono quella velocità; se rendono controllabili infrastrutture più complesse, costruiremo infrastrutture che presuppongono quella capacità di controllo. La soluzione contribuisce così a creare le condizioni nelle quali farne a meno diventa sempre più difficile, e proprio allora una tecnologia utilizzata per sentirci più sicuri può cominciare a inquietarci anche per la quantità di potere che le abbiamo affidato perché ci serviva.
7. Più controllo, più complessità
Ogni nuovo strumento di controllo aggiunge anche qualcosa da comprendere. Possiamo pensare che automatizzare la sorveglianza semplifichi il sistema e, dal punto di vista di chi lo utilizza, può essere vero: un operatore vede un’interfaccia più semplice, riceve meno segnali inutili e dispone di indicazioni più chiare. Dietro quella semplicità, però, può esistere una struttura più complessa di quella precedente, perché stiamo usando nuova complessità per rendere gestibile quella che non riuscivamo più a seguire direttamente.
Questo funziona finché gli strati intermedi fanno bene il loro lavoro. Quando qualcosa va storto dobbiamo comprendere non soltanto il problema iniziale, ma anche il comportamento degli strumenti che avrebbero dovuto aiutarci a riconoscerlo; più livelli introduciamo, più diventa difficile stabilire dove sia nato l’errore e quale decisione lo abbia amplificato. Non è una ragione sufficiente per rifiutare l’automazione, così come nessuno rifiuterebbe un aereo perché non comprende ogni sistema che lo fa volare, ma cambia ciò che significa essere al sicuro: dobbiamo fidarci non soltanto della capacità delle persone di capire ciò che accade, ma anche della qualità delle strutture costruite intorno a loro. Quando quelle strutture diventano abbastanza importanti, anche la paura può allargarsi dalla tecnologia iniziale all’intero ambiente che abbiamo costruito per governarla.
8. Una paura risolta non è una paura scomparsa
Possiamo allora tornare alla domanda con cui siamo partiti: che cosa accade quando la paura trova una soluzione? La risposta più semplice sarebbe che la paura diminuisce, e in molti casi è esattamente ciò che avviene. Una buona soluzione riduce davvero il rischio, ci permette di vivere meglio e rende possibili attività che prima sarebbero state troppo pericolose; nello stesso tempo, però, modifica il nostro comportamento, aumenta ciò che siamo disposti a fare, crea nuove dipendenze e permette sistemi più grandi e più complessi. Di conseguenza può cambiare anche ciò che temiamo, perché nel frattempo il mondo è cambiato grazie alla soluzione che abbiamo introdotto.
Con l’intelligenza artificiale questo passaggio assume una forma particolare. La paura di perdere il controllo può portarci a costruire sistemi capaci di controllare meglio; proprio perché funzionano possiamo affidare loro più compiti; perché ricevono più compiti diventano più importanti; perché diventano più importanti aumentano le conseguenze di un loro errore o della loro assenza. La paura iniziale può essere stata affrontata con successo e tuttavia aver lasciato dietro di sé una nuova situazione capace di produrre preoccupazioni che prima non esistevano.
Non significa che ogni soluzione crei inevitabilmente un problema più grande. Sarebbe soltanto un altro modo di trasformare la paura in destino. Significa che una soluzione non dovrebbe essere giudicata esclusivamente sulla capacità di ridurre il rischio che avevamo davanti nel momento in cui l’abbiamo progettata; dovremmo chiederci anche quali comportamenti rende possibili, quali dipendenze introduce e quale mondo costruisce se continuiamo a utilizzarla.
A quel punto la domanda cambia ancora una volta. Se la paura può farci accelerare, restringere ciò che vediamo, spingerci a cercare più controllo e portarci a costruire soluzioni che generano nuove ragioni per aver paura, che cosa succede quando questo modo di reagire smette di riguardare soltanto singoli individui o singole aziende e diventa il modo con cui un’intera società impara a governare l’intelligenza artificiale?
Fonti e riferimenti
Sam Peltzman, The Effects of Automobile Safety Regulation, Journal of Political Economy, 1975. Il lavoro è uno dei riferimenti classici sul tema della compensazione del rischio: misure che aumentano la sicurezza possono modificare il comportamento degli individui e ridurre almeno in parte il beneficio atteso. Il concetto non va trasferito automaticamente all’intelligenza artificiale, ma aiuta a comprendere perché una protezione efficace possa cambiare ciò che siamo disposti a fare.
Gerald J. S. Wilde, The Theory of Risk Homeostasis: Implications for Safety and Health, Risk Analysis, 1982. Propone l’idea che gli individui possano adattare il proprio comportamento in risposta ai livelli di rischio percepiti. La teoria è stata discussa e criticata, ma resta utile come riferimento per interrogarsi sugli effetti indiretti delle misure di sicurezza.
Lisanne Bainbridge, Ironies of Automation, Automatica, 1983. Già richiamato nel movimento precedente, il saggio mostra come l’automazione possa creare nuove forme di dipendenza e rendere l’intervento umano necessario proprio nelle situazioni nelle quali l’automazione incontra i propri limiti.
Charles Perrow, Normal Accidents: Living with High-Risk Technologies, Princeton University Press, 1984. L’analisi dei sistemi complessi e strettamente interconnessi mostra come l’aumento dei livelli di controllo e protezione non elimini necessariamente la possibilità di incidenti e possa rendere più difficile comprenderne le cause quando si verificano.
John D. Lee e Katrina A. See, Trust in Automation: Designing for Appropriate Reliance, Human Factors, 2004. Il lavoro affronta il problema della fiducia nei sistemi automatici e della dipendenza che può nascere quando strumenti affidabili diventano parte stabile del processo decisionale.