Che cosa è successo
Nell’agosto 2021 Apple ha annunciato un nuovo sistema destinato a rilevare materiale noto di abuso sessuale su minori nelle fotografie caricate su iCloud Photos. Il progetto utilizzava un sistema di hashing percettivo chiamato NeuralHash e tecniche crittografiche progettate per confrontare le immagini con database di materiale già identificato senza consentire ad Apple di esaminare indiscriminatamente tutte le fotografie.
Apple ha sostenuto che il sistema fosse costruito con garanzie tecniche molto forti e che non potesse essere utilizzato per cercare categorie di contenuto diverse dal materiale CSAM previsto dal progetto. Ricercatori di sicurezza e organizzazioni per i diritti digitali hanno sollevato però un’obiezione più generale: una volta introdotta nel dispositivo un’infrastruttura capace di confrontare contenuti con un elenco esterno, quale garanzia esiste che in futuro l’elenco o lo scopo non possano cambiare?
Nel settembre 2021 Apple ha rinviato l’introduzione del sistema per raccogliere ulteriori feedback. Nel dicembre 2022 ha confermato di aver abbandonato il progetto di scansione delle foto iCloud, scegliendo di sviluppare invece strumenti di Communication Safety che intervengono direttamente nell’esperienza dell’utente quando vengono rilevati contenuti sensibili.
Dove entra il sistema
Questo caso è diverso dagli altri perché non nasce da un abuso compiuto da un utente. Nasce dal tentativo di prevenire un abuso. Ed è proprio per questo che è necessario.
Una patente digitale, una targa del dispositivo o un sistema di verifica possono apparire ragionevoli finché osserviamo soltanto il problema che intendono risolvere. Ma ogni infrastruttura di controllo crea anche una capacità nuova: verificare, bloccare, classificare o identificare. Quella capacità va valutata indipendentemente dalle buone intenzioni con cui viene introdotta.
Il sistema Apple tentava precisamente di risolvere questo conflitto attraverso la crittografia e soglie tecniche. La controversia ha dimostrato però che la fiducia non riguarda soltanto ciò che il sistema fa oggi: riguarda anche ciò che renderebbe tecnicamente possibile domani.
Chi ha deciso
Apple ha deciso di progettare il sistema, limitarne inizialmente lo scopo e presentare garanzie tecniche contro l’espansione dell’uso. Le organizzazioni per la tutela dei minori hanno sostenuto la necessità di strumenti efficaci contro la circolazione di materiale di abuso. Esperti di sicurezza e associazioni per i diritti digitali hanno contestato il rischio di creare un precedente per la scansione lato dispositivo.
Non era un conflitto tra chi voleva proteggere i bambini e chi non voleva farlo. Era un conflitto su quale infrastruttura fosse accettabile costruire per raggiungere quell’obiettivo e su quali poteri permanenti quella infrastruttura avrebbe creato.
Chi poteva decidere diversamente
Apple lo ha fatto: ha rinviato e poi abbandonato il progetto nella forma annunciata. Nel frattempo ha sviluppato Communication Safety, che oggi può sfocare contenuti sensibili, mostrare avvisi e offrire risorse a minori e famiglie senza trasformare ogni fotografia iCloud in un oggetto da confrontare con un database remoto.
Questo non significa che l’attuale soluzione sia perfetta o che il problema del materiale di abuso sia risolto. Significa che esistono più architetture possibili per perseguire lo stesso obiettivo e che privacy e sicurezza non devono essere trattate come slogan contrapposti.
Perché questo caso conta
È il caso che serve a impedire alla patente digitale di trasformarsi in una giustificazione automatica del controllo. Se chiediamo identificazione, verifica dell’età, abilitazione e tracciabilità, dobbiamo contemporaneamente definire limiti altrettanto precisi al potere di chi verifica.
La domanda non può essere soltanto “questa misura aumenta la sicurezza?”. Deve essere anche: quali nuovi dati raccoglie, chi può usarli, per quali altri scopi potrebbero essere riutilizzati, che cosa accade in caso di errore e quanto sarebbe difficile estendere il sistema oltre il mandato iniziale?
Una tecnologia costruita per attribuire responsabilità deve essere progettata in modo da rendere responsabile anche chi possiede il potere di controllarla.
Cosa possiamo fare
Se progetti una misura di sicurezza
Valuta il potere che stai creando, non soltanto l’abuso che vuoi impedire. Preferisci architetture che minimizzino i dati, limitino tecnicamente gli scopi e rendano verificabili le promesse.
Se regoli un sistema di identità o abilitazione
Definisci separatamente chi può controllare, quali informazioni può vedere, per quanto tempo può conservarle e quali procedure esistono per contestare un errore.
Se ne subisci gli effetti
Dovresti poter sapere che cosa viene verificato e perché, senza essere obbligato a consegnare informazioni ulteriori non necessarie allo scopo dichiarato.
Fonti e documenti
Documentazione Apple sul progetto originario: Apple, Expanded Protections for Children, FAQ.
Abbandono del progetto e controversia: Wired, dicembre 2022.
Soluzione attuale: Apple Support, Sicurezza delle comunicazioni.