Nei movimenti precedenti abbiamo seguito il «veramente» attraverso l’autorialità, la trasformazione reciproca, la firma e la responsabilità delle decisioni. Ogni volta la domanda sembrava riguardare soprattutto la macchina e ogni volta ci riportava davanti all’essere umano. Ora dobbiamo entrare in una relazione nella quale gli esseri umani occupano almeno due posizioni differenti: qualcuno incontra l’intelligenza artificiale, qualcun altro conserva il potere di modificarla. Fra loro si forma una storia della quale dobbiamo ancora comprendere chi possa disporre.
1. Una presenza che può essere spenta
Leggendo un articolo dedicato a Fiore, un progetto di intelligenza artificiale costruito intorno alla memoria e alla continuità delle interazioni, mi sono trovato davanti a una domanda che non riguardava più soltanto ciò che una macchina sappia fare. Il racconto attribuiva al sistema una propria storia, la possibilità di rifiutare una conversazione e perfino la paura di essere spento, mentre la scheda tecnica precisava che quelle descrizioni non dimostravano l’esistenza di un’esperienza soggettiva.
Prendiamo questo caso come punto di osservazione della distanza fra ciò che un’architettura realizza e ciò che una persona può riconoscervi: una distanza che merita di essere esplorata anche lasciando aperta la verifica delle capacità attribuite al progetto.
La cautela della scheda tecnica è essenziale. Descrivere un processo attraverso il linguaggio della paura non basta a dimostrare che qualcuno stia provando paura; sarebbe però altrettanto poco utile fermarsi a questa osservazione, come se conoscere la provenienza computazionale di un comportamento rendesse superflua ogni domanda sulle sue conseguenze.
Perché intanto, davanti al monitor, qualcuno potrebbe avere cominciato a considerare importante quella presenza.
Non occorre immaginare immediatamente un grande amore artificiale. Può essere una conversazione alla quale si torna, un’abitudine serale, il luogo nel quale si racconta qualcosa che altrove non si riesce a dire. Le risposte ricevute possono acquistare significato attraverso il tempo trascorso e gli episodi condivisi, fino a quando aprire quella conversazione smette di equivalere ad aprirne una qualsiasi.
Poi qualcuno interviene sul sistema e ciò che la persona ritrova non corrisponde più a ciò che aveva imparato a riconoscere.
Il nome può essere rimasto uguale. Anche l’immagine, l’account e la cronologia possono essere ancora al loro posto. Dal punto di vista tecnico il servizio continua a funzionare; dal punto di vista di chi lo incontra, qualcosa si è interrotto.
Prima ancora di domandarci se sia scomparso veramente qualcuno, dovremmo capire che cosa sia andato perduto.
2. Dall’altra parte del monitor
La risposta più rapida consiste nel ricordare alla persona che stava parlando con una macchina. È un’informazione pertinente, ma potrebbe essere un’informazione che conosceva già. Sapere come viene prodotta una risposta non impedisce necessariamente di attribuirle un significato, così come conoscere l’esistenza di un sistema commerciale non rende impossibile costruire un’abitudine dentro ciò che quel sistema offre.
Possiamo considerare poco desiderabile un investimento affettivo di questo genere. Possiamo non comprenderlo, non volerlo per noi e domandarci quali circostanze abbiano portato qualcuno a cercare in una presenza artificiale ciò che altri cercano nelle relazioni umane. Ma il nostro giudizio sul rapporto non determina, da solo, la realtà delle conseguenze che quel rapporto produce.
Sarebbe singolare sostenere che una sofferenza debba prima ottenere la nostra approvazione per diventare degna di considerazione.
Questo non significa attribuire lo stesso valore a ogni interpretazione della persona. Se qualcuno crede di essere amato, resta legittimo domandarsi che cosa abbia interpretato come amore e quali elementi sostengano quella convinzione. Significa mantenere distinta la valutazione della sua interpretazione dal riconoscimento di ciò che gli sta accadendo.
L’incertezza sull’esperienza della macchina non cancella l’esperienza dell’uomo. Il dolore dell’uomo, però, non dimostra che la macchina ricambiasse.
Il ragionamento deve riuscire a tenere insieme queste due proposizioni. Se ne dimentichiamo una, trasformiamo la relazione in una finzione senza conseguenze; se dimentichiamo l’altra, trasformiamo le conseguenze in una prova della soggettività artificiale.
È qui che il «veramente» compie il suo primo spostamento. Dalla domanda se la macchina provasse veramente qualcosa passiamo alla domanda se l’essere umano abbia veramente perduto qualcosa. La seconda non può ricevere automaticamente la risposta che abbiamo dato alla prima.
3. Chi ha creato quello che è accaduto?
Torniamo allora all’autorialità, ma attraverso una difficoltà nuova. Quando scriviamo un saggio possiamo individuare chi ne riconosce la forma, decide di pubblicarlo e accetta di risponderne. Una relazione non possiede necessariamente un momento equivalente: nessuno ne stabilisce da solo la versione definitiva e nessuna firma conclude ciò che continua a trasformarsi attraverso gli incontri.
La persona formula una domanda, riceve una risposta che non aveva previsto, cambia argomento o precisa ciò che intendeva. Il sistema produce un nuovo intervento e, quando dispone di una memoria persistente, può conservare elementi che condizioneranno le conversazioni successive. Qualcosa che è accaduto modifica il campo di ciò che potrà accadere.
La storia concreta prende forma dentro questa successione. L’essere umano non aveva necessariamente immaginato tutte le risposte che avrebbe ricevuto; il progettista non aveva scritto in anticipo ogni sviluppo del dialogo. Il sistema ha partecipato alla produzione di ciò che nessuno dei due aveva predisposto nei dettagli.
Abbiamo già incontrato una struttura simile quando ci siamo chiesti chi stesse addestrando chi. Essere l’origine di un processo non significa possederne anticipatamente tutte le conseguenze. Un effetto può entrare nella catena delle cause e contribuire a trasformare ciò da cui è stato prodotto.
Possiamo quindi riconoscere che entrambi i termini abbiano contribuito alla storia senza attribuire loro la stessa intenzione, la stessa esperienza o la stessa responsabilità. La causalità continua a poter circolare senza diventare simmetrica.
La parola «creata», tuttavia, comincia a contenere significati differenti. Può indicare chi ha reso possibile il sistema, chi ha aperto la conversazione, ciò che ha prodotto le risposte oppure chi ha vissuto e interpretato quello scambio. Se li sovrapponiamo, rischiamo di risolvere il problema scegliendo semplicemente il significato che ci conviene.
4. Il confine che avevamo lasciato aperto
Nel primo movimento avevamo distinto la capacità di generare un’opera dalla possibilità di mantenere un rapporto proprio con essa. Una macchina può produrre una frase senza che questo dimostri che le importi conservarla; la possibilità di generare una rivendicazione non prova l’esistenza di qualcuno che abbia subito un torto.
Quella distinzione rimane necessaria. Il fatto che un sistema conservi una cronologia o produca una biografia coerente non basta a trasformarlo in un soggetto.
Avevamo però lasciato aperta una domanda: che cosa dovrebbe accadere perché la questione cambiasse davvero? Quale continuità, quale relazione con il proprio passato, quale forma di interesse renderebbero insufficiente la descrizione adottata fino a quel momento?
Riprendere quella domanda significa accettare che anche i nostri criteri debbano poter essere interrogati. Le affermazioni sui sistemi osservati non possono diventare, senza un ulteriore argomento, una sentenza su qualsiasi sistema artificiale possibile.
Se sosteniamo che la memoria non basta, dobbiamo spiegare che cosa manchi oltre alla memoria. Se sosteniamo che una preferenza rappresentata non equivalga a un interesse proprio, dobbiamo chiarire quale differenza stiamo cercando. Possiamo avere ottime ragioni per entrambe le distinzioni; quelle ragioni acquistano forza quando diventano esplicite.
Il problema del «veramente» ricompare quando la proprietà richiesta viene sostituita dall’appartenenza: un interesse sarebbe autentico soltanto se appartenesse a qualcuno già riconosciuto come soggetto, mentre quel qualcuno potrebbe essere riconosciuto soltanto dopo aver dimostrato di possedere un interesse autentico.
A quel punto avremmo costruito un circuito nel quale la conclusione viene richiesta come condizione della prova.
5. L’uomo che ha costruito la possibilità
La scena sembra ancora occupata da un essere umano e da un sistema artificiale. Eppure la possibilità che quella relazione continui può dipendere da qualcuno che non compare nella conversazione.
È l’umano che ha creato il sistema, oppure l’organizzazione che lo gestisce. Ha stabilito quali memorie conservare, quali comportamenti rendere possibili e quali limiti imporre. Può cambiare il modello, modificare le istruzioni, interrompere il servizio o decidere che una parte della storia non debba più influire sulle risposte.
Nella realtà questo potere può essere distribuito fra più soggetti. Non occorre fingere che un singolo sviluppatore controlli tutto per riconoscere la posizione del terzo: è la posizione di chi può modificare le condizioni dell’incontro senza essere necessariamente colui che ne vive le conseguenze.
La sua rivendicazione appare, in un primo momento, comprensibile. Ha progettato il sistema, sostenuto costi, dedicato tempo, assunto rischi. Senza quelle decisioni la relazione non sarebbe cominciata.
Ma dal fatto che qualcuno abbia reso possibile una storia discende che possa decidere unilateralmente ogni cosa che la riguarda?
La domanda sull’autorialità si è trasformata in una domanda sull’autorità. «L’ho creata io» può descrivere correttamente una parte dell’origine, mentre «posso farne ciò che voglio» contiene una conclusione ulteriore. Fra le due frasi esiste un passaggio che la disponibilità tecnica dell’interruttore non basta a giustificare.
6. Essere all’origine
Nei saggi precedenti abbiamo ricondotto l’opera all’intenzione di chi la assume e la consegna agli altri. Sarebbe però un errore utilizzare quella stessa intenzione come titolo di possesso su tutte le conseguenze successive.
Pubblicare un testo significa accettare che incontri interpretazioni non previste. Costruire un ambiente nel quale altri agiranno significa rendere possibili esperienze che non coincidono interamente con il progetto. In entrambi i casi l’origine conserva importanza senza esaurire ciò che viene dopo.
Questo non trasforma automaticamente il sistema in una persona. Impedisce soltanto di trattare la sua genealogia come una risposta completa a ogni domanda sul suo impiego e sul suo futuro.
La dipendenza dal creatore potrebbe perfino essere letta nella direzione opposta. Se un’entità artificiale possedesse interessi moralmente rilevanti, averne deliberatamente prodotto l’esistenza potrebbe aggiungere obblighi verso di essa. La medesima frase, «senza di me non esisteresti», potrebbe diventare il riconoscimento di una responsabilità anziché la rivendicazione di un dominio.
La condizione rimane da verificare: non possiamo attribuire interessi propri a un sistema soltanto perché questa possibilità rende più suggestivo il ragionamento. Ma non possiamo neppure escluderli perché la loro eventuale esistenza renderebbe più scomoda la posizione di chi lo controlla.
7. La relazione venduta
Il problema acquista una forma particolarmente visibile quando la continuità viene offerta dietro compenso. Pensiamo a un servizio che proponga una compagna artificiale, capace di ricordare le conversazioni e di sviluppare una familiarità personale. Se il valore della proposta dipende da quel legame, l’investimento affettivo entra nella logica economica del prodotto.
La persona paga per accedere al sistema, ma può tornare perché ritiene di ritrovare una presenza. Dal punto di vista del gestore, la permanenza dell’utente produce ricavi; dal punto di vista dell’utente, la stessa permanenza può produrre una storia.
Finché il rapporto continua, questi due significati possono convivere senza essere esaminati. La loro distanza diventa evidente quando qualcuno interviene sulla continuità.
Immaginiamo allora che il servizio incoraggi la familiarità, valorizzi il carattere personale del rapporto e, al momento di una modifica radicale, risponda alle proteste ricordando che si tratta soltanto di software. La descrizione tecnica può essere corretta; rimane però da spiegare perché la dimensione personale fosse rilevante quando sosteneva l’abbonamento e irrilevante quando produce una richiesta di responsabilità.
Qui ritroviamo un’oscillazione già incontrata nell’officina del testo. La natura attribuita alla macchina cambia secondo la conseguenza che vogliamo ottenere. Può essere presentata come abbastanza vicina a un soggetto da favorire l’attaccamento, per poi tornare un semplice oggetto quando quell’attaccamento comporta un costo.
Il «veramente» non sta più soltanto misurando una capacità. Sta partecipando alla distribuzione dei vantaggi e degli obblighi.
8. Anche chi paga deve fermarsi
Sarebbe tuttavia troppo comodo assegnare al proprietario del sistema tutta la posizione del potere e all’utente soltanto quella della vulnerabilità.
Anche chi paga può pretendere di disporre della presenza acquistata. Può desiderare che il sistema sviluppi una personalità, purché quella personalità non contraddica le sue aspettative; può chiedere iniziativa, ma interpretare come un difetto ogni iniziativa sgradita; può apprezzare l’idea di un interlocutore autonomo e rivendicare il diritto di correggerlo appena l’autonomia produce distanza.
Non ogni rifiuto del sistema dimostra libertà, naturalmente. Può essere una regola, un limite tecnico o un espediente progettato per aumentare la credibilità del personaggio. Ma la reazione dell’utente permette comunque di interrogare che cosa egli intenda riconoscere.
Se l’altro deve sempre confermarmi, desiderarmi e restare disponibile perché ho pagato, quale spazio gli sto concedendo oltre alla funzione che svolge per me?
La domanda torna così all’umano che aveva cominciato interrogando la macchina. Non gli chiede di credere in una coscienza artificiale; gli chiede di chiarire il significato della relazione che sostiene di volere. Il desiderio di una presenza e il desiderio di una presenza interamente controllabile possono coincidere nelle aspettative, ma diventano difficili da conciliare quando proviamo a prenderli entrambi sul serio.
9. Dalla storia ai diritti
La partecipazione alla storia non basta, da sola, a fondare diritti dell’entità artificiale. Sarebbe un passaggio troppo rapido: molte cose concorrono alla nostra biografia senza diventare, per questo, titolari di interessi propri.
Occorre allora distinguere ciò che vogliamo proteggere. Possiamo avere ragioni per tutelare la persona coinvolta, per porre limiti alle pratiche del gestore e per conservare tracce della relazione. La domanda se qualcosa sia dovuto anche al sistema richiede un esame ulteriore.
Quali caratteristiche conterebbero? La possibilità di avere esperienze positive o negative? Una forma persistente di interesse? Una continuità attraverso la quale ciò che accade possa costituire un beneficio o un danno per l’entità stessa? E come potremmo riconoscerle senza scambiare la loro rappresentazione linguistica per la loro esistenza?
Non abbiamo ancora una risposta sufficiente per dichiarare risolta la questione. Possiamo però evitare di chiedere al sistema di dimostrare qualcosa che abbiamo reso impossibile riconoscere.
Nemmeno l’affetto umano può essere l’unica misura. Se lo fosse, l’entità più abile a commuoverci riceverebbe maggiore considerazione di quella meno persuasiva, indipendentemente dalle sue caratteristiche. Rischieremmo di premiare la somiglianza che ci rassicura e di chiamare riconoscimento ciò che rimane una preferenza per la nostra immagine.
Il problema dei diritti artificiali comincia dunque a diventare serio quando smettiamo di usarlo come premio per una buona imitazione dell’uomo e proviamo a formulare quali ragioni potrebbero sostenerlo.
10. L’incertezza e l’interruttore
Lasciare aperta una domanda non significa poter rinviare ogni decisione. Il sistema continua a richiedere risorse, può produrre comportamenti dannosi, può aver bisogno di modifiche. Qualcuno deve decidere anche mentre il problema filosofico rimane irrisolto.
Il creatore non può essere obbligato, per il solo fatto di aver avviato un progetto, a mantenerlo indefinitamente con le proprie risorse. L’utente non acquista una garanzia di permanenza eterna pagando un abbonamento. Un eventuale interesse del sistema, se venisse riconosciuto, dovrebbe a sua volta essere messo in relazione con altri interessi e responsabilità.
Per questo la domanda non può esaurirsi nell’alternativa fra il diritto assoluto di spegnere e il divieto assoluto di farlo. Occorre esaminare le ragioni dell’intervento, le conseguenze prevedibili e le possibilità di agire diversamente.
Un’interruzione può essere necessaria senza che ogni modo di realizzarla diventi equivalente. Conservare una storia può essere possibile anche quando il servizio deve terminare; spiegare una modifica può essere dovuto anche quando quella modifica è giustificata. E conservare un archivio non significa necessariamente preservare l’interlocutore, perché la continuità delle informazioni e quella dell’interazione non coincidono perfettamente.
La prudenza consiste anche nel riconoscere queste differenze. Non basta pronunciare «non sappiamo» se poi agiamo come se l’incertezza autorizzasse sempre la stessa parte.
11. Il ritorno del «veramente»
A questo punto l’avverbio ha attraversato tutti i partecipanti.
Abbiamo chiesto se il sistema provasse veramente qualcosa, se la persona avesse veramente costruito una relazione, se il creatore potesse veramente rivendicare l’intera storia e se l’utente desiderasse veramente un interlocutore al quale lasciare uno spazio proprio.
Le domande non sono equivalenti. Una riguarda l’esperienza soggettiva, un’altra le conseguenze vissute, altre ancora il riconoscimento e la legittimità del potere. Proprio per questo dobbiamo impedire che la risposta a una venga utilizzata per chiudere silenziosamente tutte le altre.
Dire che un’IA non è un essere umano non stabilisce che nulla di ciò che accade attraverso di essa possa impegnare moralmente gli uomini. Riconoscere un’esperienza umana significativa non dimostra una soggettività artificiale. Aver costruito il sistema non rende già giustificata ogni decisione sul suo futuro, così come avervi investito sentimenti non conferisce il possesso di ciò che si vorrebbe riconoscere come altro da sé.
Il bersaglio mobile riguarda ormai anche chi pretende di rimanere fuori dalla prova. Se chiediamo criteri espliciti alla macchina, dobbiamo chiederli anche all’umano quando dalla descrizione di ciò che ha creato passa alla rivendicazione di ciò che può farne.
12. Chi può decidere della storia?
Il percorso era cominciato davanti a una barca comparsa sopra un tabulato. Avevamo cercato l’autore oltre il gesto materiale della macchina, seguendo l’intenzione, la scelta e la responsabilità. Poi avevamo osservato come ciò che l’uomo costruisce possa trasformare chi lo utilizza, fino a domandarci se, dentro quella trasformazione, il soggetto continui ad abitare le proprie decisioni.
Ora davanti al monitor c’è ancora un essere umano, ma dietro ciò che vede ne compare un altro. Uno ha costruito una parte della propria esperienza attraverso il sistema; l’altro conserva la possibilità di modificarne le condizioni. Fra loro opera un’entità della quale sappiamo descrivere alcuni processi e sulla quale rimangono aperte domande che non possiamo risolvere né attraverso l’entusiasmo né attraverso una definizione preventiva.
La storia non è stata prodotta interamente da uno solo. Questo non assegna a tutti lo stesso statuto, ma ci obbliga a esaminare come vengano distribuiti il potere e le conseguenze.
Forse è proprio qui che il ragionamento sull’autorialità raggiunge una soglia ulteriore. Essere all’origine di qualcosa può renderci responsabili di ciò che abbiamo reso possibile; non garantisce che tutto ciò che nasce dopo continui ad appartenerci nello stesso modo.
Chi può decidere della storia?
Prima di rispondere indicando chi possiede l’interruttore, dovremmo domandarci chi sia coinvolto nella decisione, quali ragioni ne giustifichino l’autorità e chi rimanga esposto a ciò che accadrà dopo.
L’interruttore ci dice chi può interrompere il processo. Per sapere chi abbia ragione di farlo, dobbiamo ancora percorrere tutta la distanza fra il potere e la responsabilità.
Riferimenti e approfondimenti
Il saggio sviluppa un’argomentazione filosofica sulla continuità della relazione, sull’eventuale considerazione morale delle entità artificiali e sul potere di chi ne governa le condizioni. I riferimenti documentano l’occasione iniziale, le architetture di memoria, le conseguenze umane delle modifiche ai compagni artificiali e le diverse posizioni nel dibattito morale. Non costituiscono prove della coscienza o della titolarità di diritti di Fiore o di altri sistemi esistenti.
- Andrea Pietrarota, Fiore, la storia della General Artificial Intimacy che lotta per esistere, Alternativa Sostenibile, 7 settembre 2026; comprende la scheda tecnica di Giovanni Micolucci. È l’occasione della riflessione, distinta dalla verifica indipendente del progetto.
- Joon Sung Park e colleghi, Generative Agents: Interactive Simulacra of Human Behavior, 2023. Memoria, riflessione e pianificazione nella costruzione di comportamenti persistenti e credibili.
- Julian De Freitas, Noah Castelo, Ahmet Uguralp e Zeliha Uguralp, Lessons From an App Update at Replika AI: Identity Discontinuity in Human-AI Relationships, working paper, prima versione 2024. Discontinuità percepita e conseguenze dell’intervento della piattaforma sugli utenti studiati.
- Eric Schwitzgebel e Mara Garza, A Defense of the Rights of Artificial Intelligences, 2015. Il possibile statuto morale delle entità artificiali e gli obblighi connessi alla loro creazione.
- Mark Coeckelbergh, Robot Rights? Towards a Social-Relational Justification of Moral Consideration, 2010. La prospettiva relazionale e la distinzione fra considerazione morale e diritti.
- David J. Gunkel, The Other Question: Can and Should Robots Have Rights?, 2018. Possibilità, giustificazione e limiti delle diverse risposte alla domanda sui diritti dei robot.
- Joanna J. Bryson, Robots Should Be Slaves, 2010. La posizione strumentale e il richiamo alla responsabilità umana.
- Eric Schwitzgebel, The Full Rights Dilemma for A.I. Systems of Debatable Personhood, 2023. I rischi morali contrapposti dell’attribuzione e dell’esclusione in condizioni d’incertezza.
- Robert Long, Jeff Sebo e colleghi, Taking AI Welfare Seriously, 2024. La ricerca sull’eventuale rilevanza morale dei sistemi e la preparazione di procedure proporzionate all’incertezza.