Che cosa è successo
Molly Russell aveva quattordici anni quando è morta nel novembre 2017 nel Regno Unito. L’inchiesta del coroner si è conclusa nel settembre 2022 con una formulazione precisa: Molly è morta a seguito di un atto di autolesionismo mentre soffriva di depressione e degli effetti negativi dei contenuti online.
Il rapporto del coroner descrive un ambiente nel quale Molly aveva accesso a immagini, video e testi relativi ad autolesionismo, suicidio e contenuti fortemente negativi. Sottolinea inoltre che le piattaforme utilizzavano algoritmi che, in alcune circostanze, producevano periodi di esposizione intensa a contenuti selezionati e forniti senza che Molly li avesse richiesti direttamente.
Il coroner non ha ridotto la morte a una singola causa tecnologica. Molly soffriva già di una malattia depressiva. Il rapporto afferma però che il materiale visualizzato ha avuto verosimilmente un effetto negativo sulla sua salute mentale e ha contribuito alla morte in misura più che minima.
Dove entra il sistema
Questo caso è fondamentale perché rompe una rappresentazione troppo semplice dell’utente digitale come persona che sceglie liberamente ogni contenuto che vede. In molte piattaforme l’utente sceglie alcuni segnali iniziali, ma da quel momento una parte rilevante dell’ambiente viene costruita dal sistema di raccomandazione.
Seguire un profilo, fermarsi su un’immagine o interagire con un contenuto può diventare input per la selezione di ciò che apparirà dopo. La piattaforma non ordina all’utente che cosa pensare e non determina automaticamente il comportamento; decide però quali contenuti rendere più disponibili, frequenti e vicini.
La responsabilità digitale individuale resta necessaria, ma diventa insufficiente se ignora l’architettura dell’ambiente. Non possiamo chiedere a una persona di “scegliere bene” senza considerare che qualcuno ha progettato il meccanismo che decide quali scelte saranno continuamente poste davanti a lei.
Chi ha deciso
Molly sceglieva alcuni contenuti e seguiva alcuni account. Le piattaforme decidevano come organizzare feed, suggerimenti e raccomandazioni. I progettisti decidevano quali segnali utilizzare e quali obiettivi ottimizzare. Le aziende stabilivano quali contenuti fossero consentiti, quali dovessero essere moderati e come distinguere utenti adulti e minori.
Il rapporto del coroner ha individuato preoccupazioni specifiche: assenza di una separazione sufficiente tra ambienti per adulti e bambini, mancanza di verifica dell’età, contenuti non adeguatamente differenziati per età, uso degli algoritmi per fornire contenuti e limitato controllo da parte dei genitori.
La catena delle decisioni è quindi distribuita. Ed è proprio per questo che attribuire tutto alla “scelta dell’utente” o tutto all’“algoritmo” produce due descrizioni ugualmente incomplete.
Chi poteva decidere diversamente
Le piattaforme potevano separare meglio l’esperienza dei minori, rafforzare la verifica dell’età, limitare la raccomandazione ripetuta di contenuti dannosi e offrire strumenti più efficaci di supervisione. Il rapporto del coroner ha formulato proprio raccomandazioni in queste direzioni.
La regolazione può imporre valutazioni del rischio e obblighi specifici sui sistemi di raccomandazione. Le famiglie possono essere coinvolte senza per questo pretendere di controllare ogni conversazione privata di un adolescente. Anche qui il problema non è scegliere tra controllo totale e assenza di regole, ma progettare responsabilità proporzionate.
Perché questo caso conta
Molly Russell è il caso che impedisce alla patente digitale di diventare una teoria secondo cui, una volta educato l’utente, il problema sarebbe risolto. Anche una persona informata agisce dentro ambienti disegnati da altri, e quei disegni orientano ciò che vede, la frequenza con cui lo vede e la facilità con cui può uscirne.
Per questo una patente della persona richiederebbe necessariamente anche responsabilità del dispositivo e della piattaforma. Chiedere competenza all’utente senza chiedere trasparenza e limiti a chi costruisce l’ambiente significherebbe distribuire la responsabilità soltanto verso il basso.
L’autonomia digitale non consiste soltanto nel sapere scegliere. Richiede anche sapere chi sta scegliendo ciò che ci viene messo davanti.
Cosa possiamo fare
Se usi una piattaforma
Tratta il feed come una selezione, non come una fotografia neutrale del mondo. Cerca strumenti per modificare raccomandazioni, cronologia e interessi, e ricorda che ciò che compare più spesso non è necessariamente ciò che è più importante o più diffuso.
Se progetti sistemi di raccomandazione
Valuta non soltanto il singolo contenuto, ma l’effetto cumulativo delle raccomandazioni. Un elemento ammesso isolatamente può diventare problematico quando viene riproposto in sequenza a un utente vulnerabile.
Se regoli l’accesso dei minori
Non fermarti all’età nominale del servizio. Considera come cambia il feed di un minore, quali categorie vengono raccomandate e quali strumenti permettono di interrompere rapidamente sequenze dannose.
Fonti e documenti
Fonte primaria: Courts and Tribunals Judiciary, Prevention of Future Deaths Report, Molly Russell.
Sistemi di raccomandazione e minori: Ofcom, indicazioni sui rischi dei sistemi di raccomandazione per i minori.