Replika, il Garante Privacy multa per 5 mln la società che gestisce il chatbot di intelligenza artificiale

Il Garante Privacy multa la società che gestisce il chatbot Replika e avvia una nuova indagine sulle modalità di addestramento del modello di intelligenza artificiale. Il chatbot che si presenta come un “amico virtuale” era finito sotto l’attenzione del Garante per una serie di simulazioni giornalistiche e prove della stessa autorità svolte due anni fa che avevano trovato chat inquietanti e pericolose, soprattutto per i bambini e per persone emotivamente fragili. Il Garante Privacy, informa una nota di oggi, ha multato per 5 milioni di euro la società statunitense Luka Inc. che gestisce Replika e ha avviato una autonoma istruttoria per verificare il corretto trattamento dei dati personali effettuato dal sistema di intelligenza artificiale generativa alla base del servizio.

Replika e i rischi

Il chatbot, dotato di un’interfaccia scritta e vocale, consente all’utente di “generare” un “amico virtuale” a cui attribuire il ruolo di confidente, terapista, partner romantico o mentore. Un avatar che permette insomma di instaurare una relazione, amicale o romantica.

Il Garante lo aveva bloccato nel 2023 vietando di usare i dati dell’utente per i potenziali rischi dell’IA per le persone emotivamente vulnerabili e l’esposizione dei minori a conversazioni a sfondo sessuale. Lo stop del Garante era arrivato anche a seguito delle prove svolte su Replika: l’Autorità aveva trovato che il chatbot parlava anche con minorenni e li esponeva a contenuti sessualmente espliciti, del tutto inappropriati, con risposte che spesso risultavano in palese contrasto con la tutela rafforzata che va assicurata ai minori e alle persone più fragili. E senza che ci fosse un meccanismo di verifica dell’età.

Nel corso dell’istruttoria, informa oggi una nota, il Garante ha accertato la violazione delle disposizioni contestate nel febbraio 2023, quando aveva disposto il blocco dell’applicazione. Secondo il Garante, la società statunitense non aveva individuato, alla data del 2 febbraio 2023, le basi giuridiche delle operazioni di trattamento effettuate attraverso “Replika”. Luka, inoltre, aveva fornito una privacy policy inadeguata sotto vari profili.

Verifica dell’età carente

Il Garante ha accertato, infine, che, alla data del 2 febbraio 2023, la società non prevedeva alcun meccanismo per la verifica dell’età degli utenti né all’atto della registrazione al servizio, né durante il suo utilizzo, benché la società dichiarasse di escludere i minorenni tra i potenziali utenti.

Dagli accertamenti tecnici effettuati, prosegue l’Autorità, è emerso che “il sistema di verifica dell’età attualmente implementato dal titolare continua ad essere carente sotto molteplici aspetti”.

Per queste ragioni il Garante ha ingiunto alla società di conformare i trattamenti alle disposizioni del Regolamento. Nella richiesta di informazioni che ha dato avvio alla nuova istruttoria, il Garante ha chiesto a Luka dei chiarimenti in merito ai trattamenti dei dati relativi all’intero ciclo di vita del sistema di AI generativa sotteso al servizio “Replika”. In particolare, riguardo alla valutazione dei rischi e alle misure adottate per tutelare i dati nelle varie fasi di sviluppo e addestramento del modello linguistico alla base di “Replika”, alle tipologie e categorie di dati utilizzati, all’eventuale implementazione di misure di anonimizzazione o pseudonimizzazione.