AI Chatbot: stop del Garante a Replika

Il Garante della privacy ferma “Replika”. Il chatbot, dotato di una interfaccia scritta e vocale
che basandosi sull’intelligenza artificiale genera un “amico virtuale”, per il momento non potrà
usare i dati personali degli utenti italiani. Il Garante della privacy ha infatti disposto con effetto
immediato, nei confronti della società statunitense che sviluppa e gestisce l’applicazione, la
limitazione provvisoria del trattamento dei dati.

Alla luce delle recenti notizie stampa e delle prove condotte dall’Autorità su “Replika”, l’applicazione presenta infatti concreti rischi per i minori d’età, a partire dalla proposizione ad essi di risposte assolutamente inidonee al loro grado di sviluppo.
L’ “amico virtuale” – presentato come in grado di migliorare il benessere emotivo dell’utente, aiuterebbe l’utente a comprendere i propri pensieri e calmare l’ansia, attraverso la gestione dello stress, la socializzazione e la ricerca dell’amore – ha caratteristiche che, intervenendo sull’umore della persona, possono accrescere i rischi per i soggetti ancora in una fase di sviluppo o in stato di fragilità emotiva.

Manca peraltro ogni meccanismo di verifica dell’età: filtri per i minori, ma anche blocchi
dell’app di fronte a dichiarazioni in cui l’utente espliciti la propria minore età. Durante la fase di
creazione di un account la piattaforma si limita a richiedere solo nome, e-mail e genere.
E la proposizione di “risposte” da parte del chatbot risultano spesso palesemente in contrasto
con le tutele rafforzate che vanno assicurate ai minori e a tutti i soggetti più fragili. Diverse
recensioni pubblicate nei due principali “App Store”, peraltro, contengono commenti di utenti che
lamentano contenuti sessualmente inopportuni.

“Replika” viola il Regolamento europeo sulla privacy, non rispetta il principio di trasparenza
ed effettua un trattamento di dati personali illecito, in quanto non può essere basato, anche solo
implicitamente, su un contratto che il minorenne è incapace di concludere.
La società sviluppatrice statunitense, Luka Inc, oltre a dover interrompere il trattamento dei
dati degli utenti italiani, deve comunicare entro 20 giorni le misure intraprese in attuazione di
quanto richiesto dal Garante, pena una sanzione fino a 20 milioni di euro o fino al 4% del fatturato
globale annuo.