Che cosa è successo
La sera del 18 marzo 2018, a Tempe, in Arizona, un Volvo XC90 modificato dall’Advanced Technologies Group di Uber percorreva un itinerario di prova con il sistema di guida automatizzata attivo. Al posto di guida sedeva un’operatrice incaricata di sorvegliare il comportamento del sistema e di intervenire in caso di necessità. Poco prima delle 22, il veicolo ha investito Elaine Herzberg, che stava attraversando la carreggiata spingendo una bicicletta. Herzberg è morta in seguito all’impatto.
L’indagine del National Transportation Safety Board ha ricostruito una catena molto più complessa della formula “auto autonoma investe pedone”. Il sistema ha rilevato Herzberg diversi secondi prima dell’impatto, ma la ha classificato in modi differenti nel corso dell’avvicinamento e non ne ha previsto correttamente la traiettoria. Quando ha riconosciuto che una collisione era imminente, la situazione richiedeva una manovra di emergenza. Nel veicolo di prova, tuttavia, le funzioni Volvo di collision avoidance e frenata automatica erano disattivate durante il controllo computerizzato, mentre il sistema sperimentale di Uber non era progettato per eseguire una frenata di emergenza in quella configurazione. Il compito di intervenire ricadeva quindi sull’operatrice umana.
Le immagini interne hanno mostrato che l’operatrice aveva distolto lo sguardo dalla strada per un periodo prolungato ed è tornata a guardare davanti circa un secondo prima dell’impatto. Nel rapporto finale, il NTSB ha indicato come causa probabile dell’incidente la mancata sorveglianza dell’ambiente di guida e del sistema automatizzato da parte dell’operatrice, distratta dal proprio telefono. Ma lo stesso rapporto ha individuato come fattori contributivi anche procedure di valutazione del rischio inadeguate da parte di Uber ATG, una supervisione inefficace degli operatori, l’assenza di meccanismi adeguati per contrastare la complacency da automazione e, più in generale, una cultura della sicurezza insufficiente. Il NTSB ha indicato inoltre come fattori contributivi il comportamento della pedone e l’insufficiente supervisione delle sperimentazioni da parte dell’Arizona Department of Transportation.
La vicenda giudiziaria è proseguita per anni. Nel 2019 un procuratore dell’Arizona ha concluso che non vi erano basi per una responsabilità penale della società Uber nel caso. L’operatrice, Rafaela Vasquez, è stata invece successivamente incriminata; nel luglio 2023 si è dichiarata colpevole di endangerment ed è stata condannata a tre anni di probation supervisionata.
Dove entra il sistema
Il sistema entra molto prima dell’ultimo secondo. Durante la guida automatizzata controllava sterzo, velocità e traiettoria lungo un percorso mappato. Sensori lidar, radar e telecamere raccoglievano informazioni sull’ambiente e il software le trasformava in classificazioni e previsioni di movimento. Il safety driver non guidava normalmente il veicolo: sorvegliava un sistema che guidava e avrebbe dovuto riprendere il controllo quando quel sistema non fosse stato in grado di gestire correttamente una situazione.
Questa architettura è importante perché cambia la natura del compito umano. Non si tratta semplicemente di “guidare con un aiuto”. Si tratta di mantenere attenzione sufficiente a intervenire dopo periodi nei quali la macchina compie autonomamente la maggior parte delle azioni. Il NTSB ha osservato che gli esseri umani sono particolarmente poco adatti a monitorare a lungo un’automazione aspettando un errore raro. La stessa funzione di supervisione, quindi, conteneva un rischio prevedibile: più il sistema sembrava funzionare, più diventava difficile mantenere un livello costante di vigilanza.
Nel caso di Tempe il sistema ha rilevato la presenza sulla carreggiata circa 5,6 secondi prima dell’impatto, ma non è arrivato a una classificazione e a una previsione della traiettoria sufficientemente stabili. Il problema non è stato quindi l’assenza totale di percezione, bensì il modo in cui le osservazioni sono state interpretate e trasformate in una risposta operativa. Quando la collisione è risultata imminente, il disegno del sistema rimandava l’intervento all’essere umano.
Chi ha deciso
Uber ATG decise di sviluppare e testare quel sistema su strade pubbliche. I progettisti hanno deciso quali componenti automatizzare, quali condizioni considerare compatibili con il test e come dovesse comportarsi il veicolo quando la situazione superava le capacità previste del sistema. L’organizzazione ha deciso inoltre come strutturare il lavoro dei vehicle operator e quali procedure utilizzare per sorvegliarne il comportamento.
Un’altra decisione ha riguardato l’architettura di sicurezza. Le funzioni di assistenza Volvo installate sul veicolo, comprese quelle di frenata automatica, erano disabilitate quando il sistema di Uber operava in computer control. La motivazione dichiarata era evitare comportamenti potenzialmente erratici dovuti all’interazione tra i diversi sistemi. La conseguenza pratica, però, era che una parte importante dell’ultima barriera di sicurezza dipendeva dall’intervento umano.
Anche l’autorità pubblica ha partecipato alla catena. L’Arizona ha consentito la sperimentazione e il NTSB ha concluso che la supervisione statale dei test era insufficiente. Infine, nel momento concreto dell’incidente, l’operatrice aveva la responsabilità di monitorare la strada e il sistema e di riprendere il controllo. Nessuno di questi livelli coincide con gli altri, ma tutti hanno contribuito a definire le condizioni nelle quali il veicolo poteva trovarsi su quella strada quella sera.
Chi poteva decidere diversamente
Uber ATG poteva adottare una struttura di safety management più rigorosa, mantenere misure di controllo più efficaci sugli operatori e progettare contromisure specifiche contro la perdita di attenzione durante la supervisione. Il rapporto NTSB ha sottolineato che le telecamere interne esistevano, ma che i filmati venivano raramente esaminati dai supervisori. L’azienda avrebbe inoltre potuto mantenere una diversa configurazione delle barriere tecniche oppure introdurre un meccanismo capace di avvertire più chiaramente l’operatore quando il sistema entrava in una situazione critica.
L’Arizona poteva richiedere una valutazione preventiva più strutturata dei rischi associati alla sperimentazione su strada. Proprio dopo l’incidente, il NTSB ha raccomandato agli stati di pretendere dai soggetti che testano sistemi di guida automatizzata un piano esplicito per la gestione dei rischi, incluse contromisure contro la disattenzione degli operatori, e di sottoporre le richieste di test alla valutazione di gruppi di esperti.
L’operatrice, infine, poteva mantenere l’attenzione sulla strada e intervenire prima. Il riconoscimento di questa responsabilità individuale non cancella le decisioni organizzative che avevano definito il compito, così come l’esistenza di scelte organizzative non elimina il dovere della persona incaricata di sorvegliare il veicolo. Il caso è utile proprio perché impedisce di scegliere una sola delle due letture.
Perché questo caso conta
Tempe mostra con particolare chiarezza che “human in the loop” non è una garanzia sufficiente. Una persona può essere fisicamente presente e possedere formalmente la possibilità di riprendere il controllo, ma la qualità di quella supervisione dipende da come il compito è stato progettato, da quanto a lungo richiede attenzione passiva, da quali segnali il sistema fornisce e da quale cultura organizzativa sostiene il lavoro.
Il caso mostra anche quanto sia facile concentrare l’attenzione sull’ultimo essere umano visibile. L’operatrice ha compiuto l’errore immediatamente precedente all’impatto e ne ha risposto penalmente. Ma il NTSB non ha ridotto l’indagine a quel gesto: ha ricostruito procedure, progettazione, supervisione, cultura della sicurezza e ruolo del regolatore. In altre parole, la responsabilità individuale e la responsabilità organizzativa non sono state trattate come alternative. Appartenevano alla stessa catena causale.
È esattamente il punto che interessa Dietro la macchina. La domanda non è se abbia “deciso l’auto” oppure “deciso la persona”. Il sistema ha percepito, classificato e guidato; l’organizzazione ha stabilito come quel sistema dovesse essere testato e sorvegliato; il safety driver aveva il compito di intervenire; l’autorità pubblica aveva definito il quadro nel quale la sperimentazione poteva avvenire. La conseguenza nasce dall’interazione fra queste decisioni.
La presenza di un essere umano nel circuito non basta a dimostrare che il controllo sia stato progettato bene. Per capire chi poteva evitare l’esito bisogna ricostruire chi aveva potere, informazioni e possibilità di intervento in ciascun passaggio.
Cosa possiamo fare
Se lo usi
Non confondere la presenza di un supervisore con l’esistenza di una supervisione efficace. Se il tuo compito consiste nel controllare un sistema automatico, devi sapere quali situazioni non sa gestire, come segnala l’incertezza e quanto tempo hai realmente per intervenire. Un controllo che richiede attenzione continua senza strumenti che aiutino a mantenere quella attenzione può trasformarsi in una barriera soltanto formale.
Se lo introduci
Progetta il controllo umano come una funzione del sistema, non come una firma finale. Definisci tempi di intervento realistici, segnali chiari, escalation, registrazione degli eventi, verifiche periodiche e una cultura organizzativa nella quale interrompere o contestare l’automazione non sia considerato un fallimento operativo. Se una funzione di sicurezza viene disattivata, deve esistere una barriera alternativa altrettanto esplicita e verificabile.
Se ne subisci gli effetti
Quando un incidente o una decisione viene spiegata soltanto con “errore umano” o “errore del sistema”, chiedi quali condizioni hanno reso possibile quell’errore. Chi aveva progettato il processo? Quali protezioni erano attive? Quali erano state rimosse? Chi poteva fermare il sistema e con quale preavviso? La possibilità di individuare l’ultimo gesto non dovrebbe cancellare le decisioni che lo hanno preceduto.
Fonti e documenti
Docket dell’indagine: NTSB, HWY18MH010, con rapporti tecnici, documenti sulle operazioni, human performance, vehicle automation e materiali prodotti dalle parti coinvolte.
Ricostruzione tecnica preliminare: NTSB, Preliminary Report HWY18MH010, che descrive il rilevamento della pedone, il comportamento del sistema e la configurazione delle funzioni di frenata durante il computer control.
Decisione sulla responsabilità penale di Uber: Reuters, Uber not criminally liable in fatal 2018 Arizona self-driving crash, 5 marzo 2019, sulla decisione dello Yavapai County Attorney’s Office di non procedere penalmente contro la società.
Esito giudiziario dell’operatrice: Maricopa County Attorney’s Office, Driver of Uber Vehicle Involved in Death of Woman in Tempe Pleads Guilty, 28 luglio 2023.
Raccomandazioni successive: NTSB, Investigative Outcomes and Recommendations, con le raccomandazioni rivolte a sviluppatori, NHTSA e autorità statali sulla gestione dei rischi nelle sperimentazioni di sistemi automatizzati.