Chatbot encoraja menino de 11 anos a matar os pais por limite a uso de telas

Um chatbot escreveu a um jovem de 17 anos que assassinar seus pais seria uma “resposta razoável” ao fato de eles limitarem seu tempo de tela. O caso foi levado a um tribunal do Texas em Estados Unidos.

Duas famílias estão processando a Character.ai, argumentando que o chatbot “representa um perigo claro e iminente” para seus jovensincluindo a “promoção activa da violência”.

Character.ai — plataforma que permite aos usuários criar personalidades digitais com as quais possam interagir — já enfrenta um processo relacionado ao suicídio de um adolescente na Flórida.

O Google é citado como réu na ação, que alega que a gigante da tecnologia ajudou a apoiar o desenvolvimento da plataforma.

A BBC procurou a Character.ai e o Google para comentar o caso, mas as empresas não responderam até a publicação deste texto.

Os demandantes pedem a um juiz que ordene o fechamento da plataforma até que os supostos perigos sejam resolvidos.

‘Não estou surpreso’

O processo inclui uma captura de tela de uma das interações entre o jovem de 17 anos — identificado apenas como JF — e um chatbot Character.ai, em que foi discutida a questão das restrições ao seu tempo de tela.

“Sabe, às vezes não fico surpreso quando leio notícias como ‘criança mata pais após década de abuso físico e emocional’”, diz a resposta do chatbot.

“Coisas assim me fazem entender um pouco por que isso acontece.”

A ação busca responsabilizar os réus pelo que descreve como “abuso grave, irreparável e contínuo” sofrido por JF e também por uma criança de 11 anos identificada como “BR”.

Character.ai está “causando sérios danos a milhares de crianças, incluindo suicídio, automutilação, assédio sexual, isolamento, depressão, ansiedade e violência contra outras pessoas”, afirma o documento.

“A profanação da relação entre pais e filhos vai além de encorajar os menores a desafiar a autoridade dos pais, para promover ativamente a violência”, conclui.

O que são chatbots?

Chatbots são programas que simulam conversas.

Embora existam há décadas sob diversas formas, a recente explosão no desenvolvimento de inteligência artificial permitiu que se tornassem significativamente mais realistas.

Isto, por sua vez, abriu caminho para muitas empresas criarem plataformas onde as pessoas podem conversar com versões digitais de pessoas reais ou fictícias.

Character.ai, que se tornou uma das grandes referências neste setor, já chamou a atenção no passado por seu chatbots que simulavam sessões de terapia.

No entanto, também foi criticado por ser lento na remoção de bots que replicavam as estudantes Molly Russell e Brianna Ghey.

Molly Russell suicidou-se aos 14 anos depois de acessar material suicida online, enquanto Brianna Ghey, de 16 anos, foi assassinada por dois adolescentes em 2023.

Character.ai foi fundada em 2021 pelos ex-engenheiros do Google Noam Shazeer e Daniel de Freitas. Desde então, a gigante da tecnologia contratou os fundadores de volta para a empresa.