Riprendere il controllo

1. Quando non basta sapere che esiste un rischio

Avere paura di qualcosa non significa soltanto considerarlo pericoloso. Significa anche sentirsi meno capaci di prevedere ciò che potrebbe accadere e, soprattutto, meno sicuri di poter intervenire nel momento giusto. Possiamo convivere abbastanza bene con molti rischi quando sappiamo come affrontarli, quali segnali osservare e quali azioni intraprendere se qualcosa va storto. Diventa molto più difficile quando non conosciamo bene né la probabilità dell’evento né le sue conseguenze, e quando non siamo nemmeno certi che gli strumenti a nostra disposizione sarebbero sufficienti per fermarlo.

Nel caso dell’intelligenza artificiale questa incertezza assume una forma particolare. Non sappiamo soltanto quali capacità potranno emergere nei prossimi anni; spesso non sappiamo nemmeno quali conseguenze produrranno capacità già disponibili quando verranno utilizzate su larga scala. Possiamo osservare gli effetti sul lavoro, sull’informazione, sulla ricerca, sulla sicurezza, ma dobbiamo farlo mentre la tecnologia continua a cambiare e mentre cambiano contemporaneamente gli usi che ne facciamo. In una situazione del genere è comprensibile che la domanda “che cosa potrebbe accadere?” venga rapidamente accompagnata da un’altra: “come facciamo a tenerlo sotto controllo?”.

La seconda domanda è importante perché mostra che la paura non produce soltanto fuga o rallentamento. Può produrre anche un desiderio molto forte di aumentare la nostra capacità di osservare, prevedere e intervenire. Dopo aver visto che la paura può farci correre e restringere ciò che siamo disposti a considerare, possiamo allora incontrare una terza reazione, forse ancora più comune: cercare strumenti che ci facciano sentire nuovamente in grado di governare la situazione.

2. Controllare significa prima di tutto vedere

Per controllare qualcosa dobbiamo poterlo osservare. È difficile intervenire su ciò che non riusciamo a riconoscere, misurare o classificare, ed è per questo che ogni nuova preoccupazione tende a produrre nuovi sistemi di sorveglianza. Se temiamo che un modello possa generare contenuti pericolosi, vogliamo controllare ciò che produce; se temiamo che possa essere utilizzato per ingannare, vogliamo riconoscere ciò che è stato generato artificialmente; se ci preoccupano alcuni usi professionali, vogliamo sapere dove e come viene impiegato; se temiamo che un sistema possa prendere decisioni non appropriate, cerchiamo registri, verifiche, soglie e procedure capaci di mostrarci ciò che sta facendo.

Non c’è nulla di strano in questo. In molti casi è precisamente ciò che dovremmo fare. Il problema comincia quando ci accorgiamo che, per governare una tecnologia complessa, dobbiamo costruire un ambiente di controllo altrettanto complesso. Più aumentano le capacità dei sistemi, più aumentano le cose che vogliamo osservare; più aumentano gli usi, più diventa difficile controllarli manualmente; più cresce la quantità di informazioni raccolte, più abbiamo bisogno di strumenti capaci di analizzarle.

A quel punto compare una prima trasformazione interessante. Lo strumento che ci preoccupa perché è capace di classificare, prevedere e decidere può diventare anche lo strumento che utilizziamo per classificare, prevedere e controllare. Non necessariamente lo stesso modello e non necessariamente nello stesso contesto, ma la logica comincia già a essere visibile: per governare sistemi sempre più complessi cerchiamo sistemi capaci di gestire una complessità che gli esseri umani, da soli, fanno sempre più fatica a seguire.

3. Sapere prima

Il controllo non riguarda soltanto ciò che sta accadendo. Una parte importante consiste nel cercare di capire ciò che potrebbe accadere prima che avvenga, ed è una delle ragioni per cui la previsione diventa così importante quando abbiamo paura. Vogliamo anticipare gli incidenti, riconoscere comportamenti anomali, stimare probabilità, individuare segnali che permettano di intervenire abbastanza presto. E più consideriamo gravi le conseguenze di un errore, più siamo disposti a investire in strumenti capaci di ridurre l’incertezza.

L’intelligenza artificiale è particolarmente adatta a questo ruolo. Può analizzare quantità di dati impossibili da seguire manualmente, individuare schemi, confrontare casi, produrre stime e segnalare anomalie. In molti campi questi strumenti possono migliorare realmente la nostra capacità di capire ciò che sta accadendo, e sarebbe poco sensato rifiutarli soltanto perché appartengono alla stessa famiglia tecnologica che stiamo cercando di governare.

Ma proprio questa utilità apre una domanda più difficile. Se per controllare meglio ciò che ci preoccupa abbiamo bisogno di strumenti capaci di prevedere, filtrare e decidere quali segnali meritano attenzione, quanto del nostro controllo resta legato alla possibilità di comprendere direttamente la situazione e quanto comincia invece a dipendere dalla capacità del sistema di presentarci la situazione nel modo giusto? Non è necessario immaginare una macchina che prende il comando; può bastare che diventi sempre più difficile governare senza il suo aiuto.

4. Quando controllare richiede delegare

All’inizio la delega può essere minima. Un sistema segnala un’anomalia, ma l’essere umano decide che cosa fare. Poi le anomalie aumentano, i dati diventano più numerosi, il tempo disponibile diminuisce, e diventa utile permettere al sistema di ordinare le priorità. Successivamente può sembrare ragionevole affidargli anche alcune risposte automatiche nei casi più semplici, lasciando all’uomo soltanto quelli più complessi.

Ogni passaggio può avere ottime ragioni. Sarebbe perfino assurdo costruire sistemi di controllo automatico e poi pretendere che ogni singola informazione venga esaminata manualmente da una persona. L’automazione nasce spesso proprio perché il controllo umano, oltre una certa scala, non è più sufficiente.

Il problema interessante non è quindi se la delega sia giusta o sbagliata. È capire come cambia il significato della parola “controllo” mentre aumenta ciò che deleghiamo. All’inizio controllare significa osservare direttamente e intervenire; più avanti può significare progettare un sistema che osserva al nostro posto e interviene entro limiti stabiliti; ancora più avanti può significare verificare che quel sistema continui a comportarsi come previsto.

In tutti e tre i casi possiamo dire che l’essere umano mantiene il controllo, ma non stiamo parlando della stessa cosa. Nel primo controlliamo l’evento, nel secondo controlliamo uno strumento che controlla l’evento, nel terzo controlliamo soprattutto le condizioni entro cui quello strumento dovrebbe continuare a funzionare. La distanza fra chi decide e ciò che viene deciso aumenta poco alla volta, spesso senza che esista un momento preciso nel quale possiamo dire di aver ceduto qualcosa.

5. Il controllo che si sposta

Qui può nascere un equivoco curioso. Più automatizziamo le funzioni di controllo, più possiamo avere l’impressione di aver aumentato la nostra capacità di governare il sistema, e in molti casi sarà davvero così. Ma nello stesso momento possiamo diventare più dipendenti dal corretto funzionamento degli strumenti che abbiamo introdotto per ottenere quel risultato.

È una situazione che conosciamo già in molti ambiti. Un pilota dispone di sistemi automatici che rendono il volo più sicuro e riducono enormemente il carico di lavoro; proprio perché quei sistemi funzionano così bene, però, la capacità del pilota di intervenire nei casi eccezionali diventa ancora più importante e può essere più difficile da mantenere allenata. Un operatore che riceve centinaia di segnalazioni automatiche può controllare un sistema immensamente più grande di quello che riuscirebbe a seguire da solo, ma il suo giudizio dipende anche dalla qualità della selezione che gli viene presentata.

Non significa che l’automazione ci tolga necessariamente il controllo. Può aumentarlo enormemente. Significa che lo sposta, e ogni spostamento crea nuove cose da controllare. Una volta automatizzato un compito dobbiamo controllare il sistema che lo automatizza; una volta automatizzato quel controllo, dobbiamo verificare che anche il secondo livello continui a funzionare come previsto. Possiamo guadagnare capacità ad ogni passaggio e contemporaneamente costruire una catena nella quale diventa sempre meno semplice individuare il punto esatto in cui si trova la decisione umana.

6. Sentirsi più sicuri

La paura non chiede necessariamente un controllo perfetto. Molto spesso chiede una sensazione sufficiente di controllo, e sapere che esiste un sistema di allarme può farci sentire più tranquilli anche se non elimina il rischio; sapere che qualcuno sta monitorando una situazione può ridurre l’ansia anche quando non può impedirne ogni conseguenza. Lo stesso può accadere con i sistemi automatici: un indicatore, una previsione, una classificazione o una raccomandazione possono restituirci l’impressione che la situazione sia nuovamente leggibile e che quindi possiamo gestirla.

Questa sensazione non è necessariamente falsa. Un buon sistema può davvero permetterci di vedere meglio. Ma è proprio quando funziona bene che diventa facile affidargli un peso sempre maggiore, perché ogni volta che ci aiuta rafforza la convinzione che sia ragionevole utilizzarlo anche nel passaggio successivo.

La delega può allora crescere senza essere mai vissuta come una rinuncia. Non diciamo a noi stessi di voler decidere meno; diciamo che vogliamo decidere meglio. Non diciamo di voler perdere il controllo; diciamo che vogliamo aumentarlo. E spesso abbiamo buone ragioni per crederlo, perché gli strumenti automatici possono effettivamente ridurre errori e rendere gestibili situazioni troppo complesse per una persona sola.

Proprio per questo il punto non può essere accusare l’uomo di essersi lasciato sostituire. Sarebbe troppo facile, e soprattutto descriverebbe male ciò che accade. L’uomo può trasferire alcune funzioni proprio nel tentativo di restare al comando, e soltanto molto più tardi accorgersi che il modo in cui esercita quel comando è diventato inseparabile dagli strumenti ai quali ha affidato una parte crescente del lavoro.

7. Proteggerci con ciò che temiamo

Arrivati qui ritorna la paura, ma in una forma diversa da quella incontrata nei primi due movimenti. Prima ci aveva spinti ad accelerare per non restare indietro; poi aveva ristretto il numero delle alternative che riuscivamo a considerare. Ora ci spinge a costruire più capacità di controllo, perché la possibilità di non comprendere o non riuscire a intervenire ci sembra ancora più pericolosa.

Ed è qui che la relazione con l’intelligenza artificiale diventa particolarmente strana. Più i sistemi diventano potenti e complessi, più aumenta il bisogno di strumenti capaci di controllarli; ma strumenti abbastanza potenti da svolgere quel controllo appartengono spesso allo stesso universo tecnologico che stiamo cercando di governare. Utilizziamo modelli per valutare modelli, sistemi automatici per rilevare comportamenti automatici, algoritmi per riconoscere ciò che altri algoritmi hanno prodotto, e questa scelta può essere perfettamente sensata proprio perché la complessità ha superato ciò che un essere umano potrebbe seguire da solo.

Non c’è quindi bisogno di immaginare una contraddizione. Possiamo temere una tecnologia e, nello stesso tempo, avere ottime ragioni per utilizzarla per proteggerci da alcuni dei suoi rischi. Ma se questo accade, il nostro tentativo di riprendere il controllo può aumentare ulteriormente il numero delle funzioni che affidiamo a quella tecnologia, e la relazione comincia a diventare meno intuitiva: più vogliamo sorvegliarla, più abbiamo bisogno di strumenti della sua stessa natura; più li utilizziamo, più diventano indispensabili alla nostra capacità di sorvegliare.

A quel punto non è ancora necessario stabilire se abbiamo perso qualcosa. Conviene fermarsi prima, perché la domanda interessante è un’altra: che cosa accade quando il mezzo scelto per ridurre la nostra paura diventa anche una delle condizioni senza le quali non ci sentiamo più capaci di controllare ciò che ci fa paura?

8. Quando il rimedio entra nel problema

La tentazione sarebbe concludere che abbiamo creato un circolo vizioso e che quindi dovremmo interromperlo. Ma sarebbe una conclusione troppo rapida. Se un sistema automatico rende più sicuro un processo, rinunciarvi soltanto per preservare un controllo completamente umano potrebbe aumentare il rischio invece di ridurlo. Non abbiamo alcuna ragione per considerare automaticamente migliore una decisione solo perché viene presa senza assistenza tecnologica.

La difficoltà sta altrove. Stiamo cercando di capire che cosa la paura ci porta a costruire e come quelle costruzioni cambiano, poco alla volta, il problema dal quale eravamo partiti. Volevamo più controllo perché temevamo di perderlo; per ottenerlo abbiamo introdotto strumenti capaci di osservare, prevedere e intervenire, e proprio il loro successo può modificare ciò che consideriamo ormai possibile o accettabile.

Non sappiamo ancora dove conduca questo passaggio, né se ogni forma di protezione produca lo stesso effetto. Ma la domanda ormai è difficile da evitare: può accadere che ciò che costruiamo per proteggerci finisca per aumentare la forza di ciò da cui volevamo proteggerci?

Fonti e riferimenti

Lisanne Bainbridge, Ironies of Automation, Automatica, 1983. Un testo classico sui paradossi dell’automazione: più compiti vengono affidati ai sistemi automatici, più le persone possono essere chiamate a intervenire proprio nelle situazioni eccezionali nelle quali esperienza e comprensione diretta diventano decisive.

Raja Parasuraman e Victor Riley, Humans and Automation: Use, Misuse, Disuse, Abuse, Human Factors, 1997. Il lavoro distingue diversi modi in cui gli esseri umani possono utilizzare o affidarsi ai sistemi automatici e mostra perché l’automazione non elimini il problema del controllo, ma ne modifichi la forma.

John D. Lee e Katrina A. See, Trust in Automation: Designing for Appropriate Reliance, Human Factors, 2004. Gli autori affrontano il rapporto fra fiducia e affidamento ai sistemi automatici, mostrando come il problema non sia semplicemente fidarsi o non fidarsi, ma capire quando e quanto sia appropriato farlo.