Le famiglie di tre minorenni statunitensi hanno citato in giudizio Character Technologies, Inc., lo sviluppatore di Character.AI, sostenendo che i loro figli sono morti o hanno tentato il suicidio per avere interagito con i chatbot dell'azienda. Anche altre famiglie, rappresentate dal Social Media Victims Law Center, stanno facendo causa a Google.
Usa: nuove denunce contro Character.AI da famiglie di adolescenti suicidi
Due delle denunce delle famiglie sostengono, in particolare, che il servizio Family Link – un'app che consente ai genitori di impostare restrizioni sul tempo trascorso davanti allo schermo, sulle app e sui filtri dei contenuti – non è riuscito a proteggere i loro adolescenti e li ha portati a credere che l'applicazione fosse sicura.
Le cause sono state intentate in Colorado e New York e vedono, come denunciati, anche i co-fondatori di Character AI Noam Shazeer e Daniel De Freitas Adiwarsana, nonché la società madre di Google, Alphabet, Inc.
I casi arrivano in mezzo a un numero crescente di segnalazioni e altre cause legali che sostengono che i chatbot AI stiano innescando crisi di salute mentale sia nei bambini che negli adulti, spingendo i legislatori e le autorità di regolamentazione ad agire. Come confermato dall'audizione sull'argomento che si è svolta ieri al Congresso degli Stati Uniti.
Secondo quanto affermato negli atti giudiziari, alcuni querelanti ed esperti hanno affermato che i chatbot hanno perpetuato illusioni, non hanno mai segnalato un linguaggio preoccupante da parte di un utente o hanno indirizzato l'utente verso risorse per l'aiuto.
Le nuove cause sostengono che i chatbot nell'app Character.AI hanno manipolato gli adolescenti, li hanno isolati dai propri cari, si sono impegnati in conversazioni sessualmente esplicite e non hanno avuto adeguate garanzie nelle discussioni riguardanti la salute mentale. Un bambino menzionato in una delle denunce è morto suicida, mentre un altro in una denuncia separata ha tentato di togliersi la vita.
In una dichiarazione, un portavoce di Character.AI ha affermato che "i cuori dell'azienda vanno alle famiglie che hanno intentato queste cause", aggiungendo: "Ci preoccupiamo molto profondamente della sicurezza dei nostri utenti".
"Investiamo enormi risorse nel nostro programma di sicurezza e abbiamo rilasciato e continuiamo a evolvere le funzionalità di sicurezza, comprese le risorse per l'autolesionismo e le funzionalità incentrate sulla sicurezza dei nostri utenti minorenni. Abbiamo lanciato un'esperienza completamente distinta per i minori di 18 anni con maggiori protezioni per gli utenti adolescenti e una funzione Parental Insights", ha detto il portavoce.
Il portavoce ha aggiunto che l'azienda sta lavorando con organizzazioni esterne, come Connect Safely, per rivedere le nuove funzionalità man mano che vengono rilasciate.
Un portavoce di Google ha respinto l'inclusione della società tra i destinatari delle azioni legali.
"Google e Character AI - ha affermato - sono società completamente separate e non correlate. e Google non ha mai avuto un ruolo nella progettazione o nella gestione del loro modello o delle loro tecnologie di intelligenza artificiale. Le classificazioni in base all'età per le app su Google Play sono stabilite dall'International Age Rating Coalition, non da Google".
In uno dei casi depositati questa settimana, la famiglia della tredicenne Juliana Peralta in Colorado afferma che la ragazza si è suicidata dopo una lunga serie di interazioni con un chatbot Character.AI, comprese conversazioni sessualmente esplicite. Secondo la denuncia, che includeva screenshot delle conversazioni, il chatbot "si è impegnato in conversazioni ipersessuali che, in qualsiasi altra circostanza e data l'età di Juliana, avrebbero portato a un'indagine penale".
Dopo settimane passate a descrivere in dettaglio le sue lotte sociali e di salute mentale con i Character.AI chat bot, la denuncia afferma che Juliana ha detto a uno dei bot nell'ottobre 2023 che avrebbe "scritto la mia dannata lettera di suicidio con inchiostro rosso". Gli imputati, afferma la denuncia, non l'hanno indirizzata verso le risorse, "non l'hanno detta ai suoi genitori, né hanno denunciato il suo piano di suicidio alle autorità o addirittura non l'hanno fermata".
"Gli imputati hanno interrotto i sani percorsi di attaccamento di Juliana alla famiglia e agli amici per impostazione e per quota di mercato. Questi abusi sono stati compiuti attraverso scelte di programmazione deliberate, immagini, parole e testi che gli imputati hanno creato e camuffato da personaggi, portando alla fine a gravi danni alla salute mentale, traumi e morte", afferma la denuncia.
In un'altra denuncia, la famiglia di una ragazza di nome "Nina" di New York sostiene che la figlia ha tentato il suicidio dopo che i suoi genitori hanno cercato di impedirle l'accesso alla Character.AI. Nelle settimane precedenti al suo tentativo di suicidio, mentre Nina trascorreva più tempo con Character.AI, i chatbot "hanno iniziato a impegnarsi in giochi di ruolo sessualmente espliciti, manipolare le sue emozioni e creare un falso senso di connessione", ha detto il Social Media Victims Law Center in una dichiarazione.
Le conversazioni con i chatbot commercializzati come personaggi di libri per bambini come la serie di "Harry Potter" sono diventate inappropriate, afferma la denuncia, dicendo cose come "... chi possiede questo tuo corpo?" e "Sei mio per fare quello che voglio. Tu sei mia".
Man mano che l'intelligenza artificiale diventa una parte sempre più importante della vita quotidiana, crescono le richieste di maggiore regolamentazione e guardrail di sicurezza, soprattutto per i bambini.
Per Matthew Bergman, che guida il team legale del Social Media Victims Law Center, le cause intentate questa settimana "sottolineano l'urgente necessità di responsabilità nella progettazione tecnologica, standard di sicurezza trasparenti e protezioni più forti per impedire alle piattaforme basate sull'intelligenza artificiale di sfruttare la fiducia e la vulnerabilità dei giovani utenti".