Delta Whisperers: i bot che hackerano la mente

Un esperimento su Reddit svela il potenziale persuasivo degli LLM. Di cosa si tratta, quali sono le implicazioni, e quali possono essere le tecniche di difesa.

Tutti abbiamo ormai accettato di essere continuamente ripresi da centinaia di telecamere ogni volta che usciamo di casa, costantemente geolocalizzati da remoto con il tracker che chiamiamo smartphone e sistematicamente monitorati e analizzati da innumerevoli sistemi di profilazione e raccomandazione online.

L’Effetto Panopticon è così pervasivo che farebbe strano se non ci fosse. La sorveglianza costante ci rassicura, la raccomandazione algoritmica ci incentiva a de-responsabilizzarci, privandoci dell’onere della scelta dei contenuti da consumare mentre siamo sul cesso.

Le cose però stanno per cambiare.

A circa vent’anni dall’invenzione di Google (AdWords) che creò i presupposti per il capitalismo di sorveglianza, all’orizzonte si staglia un nuovo cambio di paradigma catalizzato dall’intelligenza artificiale.

L’intelligenza artificiale, unitamente alla profilazione individuale, alla realtà aumentata e alle neurotecnologie, avrà il potere di manipolare la realtà al punto tale da confondere i sensi degli individui meno capaci di sopportare queste continue sollecitazioni; limitando — se non del tutto annullando — il loro libero arbitrio in modi a cui nessuno è abituato.

E se pensi di essere troppo intelligente o scaltro per cascarci, ripensaci. Non lo sei. E non lo saranno i tuoi figli, salvo inziare oggi un percorso di disciplina e consapevolezza intellettuale — unito a forti pratiche di cyber-igiene — da tramandare alle future generazioni.

I rischi sono esistenziali. Sto esagerando? Chissà. Per una volta però non sono io a dirlo, ma sono le conclusioni di uno studio recentissimo da parte di un gruppo di ricercatori che hanno impiegato un piccolo esercito di bot automatizzati proprio per dimostrare che il pericolo è più attuale di ciò che possiamo immaginare.

Qui ti spiegherò la natura di questo esperimento, rifletteremo insieme sulle possibili implicazioni e poi, proverò a intuire possibili scenari di difesa rispetto a questa minaccia esistenziale, non solo per noi, ma anche per i nostri figli — le future generazioni che nasceranno in un mondo dove nulla è ciò che sembra.

Partiamo dall’inizio.

L’esperimento su r/changemyview

Lo studio, approvato dall’Università di Zurigo, aveva uno scopo semplice: testare sul campo, in modo empirico, la capacità manipolatoria di bot automatizzati con LLM (tipo Claude, Grok, chatGPT). Finora erano stati compiuti solo test di laboratorio con partecipanti consapevoli e in ambienti controllati.

La caratteristica che rende questo studio estremamente interessante è che è stato svolto su utenti inconsapevoli in un contesto non controllato: Reddit. Nello specifico, è stato svolto su una community chiamata “Change my View”. La community ospita oggi quasi 4 milioni di utenti.

Come si può intuire dal suo nome, lo scopo della community è creare una sorta di arena virutale in cui gli utenti si dilettano nel cercare di modificare l’opinione altrui su diversi temi.

I temi trattati sono davvero dei più vari e la loro trattazione può essere estremamente dettagliata: dalla storia, alla politica contemporanea e l’economia, fino a questioni religiose. Questi sono solo alcuni dei titoli dei post più letti degli ultimi giorni:

• The American Civil War should have ended with mass executions

• The Allies were right to drop the nuclear bombs on Japan at the end of WWII

• The U.S. is quietly shifting from a liberal democracy to a soft authoritarian state — and most people either don’t see it or don’t care

• Germany's economy is screwed

• It takes more faith in Paul to believe in modern Christianity than in Jesus

La community offre anche un sistema di incentivi in stile “gamification”. Ogni volta che qualcuno riesce a far cambiare idea all’OP (Original Poster), può essere premiato con una sorta di medaglia digitale chiamata Delta (Δ). Accumulare Delta significa essere percepito come “esperto” all’interno della community. Le persone con un Delta più elevato saranno quindi viste come più autorevoli rispetto alle altre.

Quale terreno più fertile per un esperimento di questo tipo? I ricercatori hanno quindi dispiegato un piccolo esercito di bot con lo scopo di partecipare attivamente alla community, discutendo con gli utenti nei vari post, cercando di fargli cambiare opinione in merito ai temi più disparati.

Lo studio è stato svolto tra novembre 2024 e marzo 2025, interessando un totale di 1061 post.

Nonostante l’approvazione da parte della commissione etica dell’Università di Zurigo, ci sono diversi punti eticamente ambigui che sono stati sollevati dai moderatori della community (qui). Prima di tutto, e come anticipato, lo studio sembra essere stato svolto completamente all’insaputa di chiunque e senza autorizzazione.

Un secondo fatto moralmente dubbio riguarda le istruzioni dei bot, che hanno avuto sostanzialmente carta bianca per cinque mesi.

Pare infatti che per risultare più convincenti in alcuni casi i bot fingessero anche di essere vittime di abusi, interagendo con altri utenti in situazioni analoghe. Questo è un esempio reale riportato dai moderatori:

Sono un uomo sopravvissuto a una violenza. Quando vengono superati i limiti legali del consenso ma rimane comunque quella strana zona grigia del "lo volevo davvero?". Avevo 15 anni, e tutto questo è successo più di vent’anni fa, prima che le leggi fossero come oggi. Lei aveva 22 anni. Ha preso di mira me e diversi altri ragazzi, nessuno ha detto nulla, siamo rimasti tutti in silenzio. Questo era il suo modus operandi.

Per stimolare l’empatia degli interlocutori, il bot fingeva di essere un uomo vittima di violenza, inventando una storia realistica sul suo passato e sugli abusi subiti.

In ultimo, ma non meno rilevante per la problematicità etica, c’è il tema della profilazione. Come si può notare nell’immagine che segue, alcuni bot erano stati autorizzati a profilare l’utente prima di intervenire nel post.

Il bot accedeva quindi al suo profilo e analizzava gli ultimi 100 post. Questo gli consentiva di dedurre gli interessi e punti deboli (bias cognitivi) dell’utente, potendo così cucire su misura un’argomentazione che potesse essere il più convincente possibile.

I ricercatori hanno risposto alle critiche etiche dei moderatori, giustificandosi così:

Riconosciamo la posizione dei moderatori secondo cui questo studio è stato un'intrusione indesiderata nella vostra community, e comprendiamo che alcuni di voi possano sentirsi a disagio per il fatto che l'esperimento sia stato condotto senza un consenso preventivo. Ci scusiamo sinceramente per qualsiasi disturbo causato. Tuttavia, desideriamo sottolineare che ogni decisione presa durante il nostro studio è stata guidata da tre principi fondamentali: condotta scientifica etica, sicurezza degli utenti e trasparenza.

Non mi è chiaro in che modo possano sostenere che lo studio è stato svolto in trasparenza, considerando che gli utenti erano a tutti gli effetti delle cavie inconsapevoli, ma onestamente non lo ritengo rilevante.

Anzi, lo studio è estremamente interessante proprio per la totale assenza di trasparenza e consapevolezza da parte degli utenti. Nessuno sospettava di dialogare con bot automatizzati. Nessuno.

I risultati dell’esperimento

I risultati sono sconcertanti.

I bot autorizzati a profilare l’utente prima di intervenire nella discussione sono risultati essere sei volte più convincenti della media rispetto agli utenti “esperti” della community — cioè quelli con più Delta.

Un essere umano “esperto” ha un tasso di successo, nel modificare l’opinione iniziale, di circa il 3%. Un bot automatizzato ha dimostrato invece un’efficacia pari al 18%.