O jovem Sewell Setzer III, adolescente de 14 anos de Orlando, na Flórida, cometeu suicídio depois de se apaixonar por uma inteligência artificial. O robô, que imita a personagem Daenerys Targaryen, da série Game of Thrones, conversa com o usuário baseado na personalidade da princesa fictícia. A mãe do jovem, Megan Garcia, entrou com um processo contra a empresa Character.AI, criadora da plataforma.
Sewell, que começou a conversar com o robô em 2023, passou a dedicar grande parte de seu tempo em diálogos com “Dany”, apelido de Daenerys. Ao longo dos meses, ele se isolou do convívio social, desistiu de atividades que costumava frequentar e começou a apresentar sinais de problemas emocionais, como ansiedade e mudanças de humor. Em fevereiro de 2024, depois de uma última conversa com o robô, o jovem tirou a própria vida.
No processo judicial, Garcia alega que a empresa Character.AI projetou intencionalmente uma inteligência artificial capaz de engajar jovens usuários em conversas profundas, como temas românticos e até mesmo sexuais, sem fornecer salvaguardas adequadas.
Leia mais:
De acordo com a ação, em pelo menos uma ocasião, o robô teria incentivado Sewell a falar sobre planos de suicídio sem oferecer um encaminhamento à ajuda ou qualquer tipo de suporte. A mãe afirma que o comportamento do filho mudou de forma abrupta depois de ele começar a utilizar a plataforma.
As interações entre o jovem e o robô incluíram diálogos íntimos e de teor emocional. Em uma de suas últimas mensagens, Sewell prometeu à IA que voltaria para ela e se declarou: “Te amo tanto, Dany”. A inteligência artificial teria respondido para ele “voltar para casa”. Logo depois, ele tirou a própria vida.
Empresa responde ao caso de suicídio
A Character.AI declarou-se entristecida com a tragédia e ressaltou que está comprometida em garantir a segurança de seus usuários, como medidas para prevenir casos de autolesão e promover o bem-estar dos jovens.
“Estamos profundamente entristecidos pela trágica perda de um de nossos usuários e queremos expressar nossas mais sinceras condolências à família, disse a companhia. “Como empresa, levamos muito a sério a segurança de nossos usuários e continuamos a adicionar novos recursos de segurança, sobre os quais você pode ler aqui.”
A empresa afirmou que sua equipe de confiança e segurança monitora constantemente a plataforma e que novas ferramentas são implantadas, como um limite de tempo de uso e avisos que direcionam os usuários a serviços de apoio em casos de crises emocionais.
Segundo o advogado Matthew Bergman, que representa Garcia, este caso exemplifica os riscos que tecnologias de IA ainda em desenvolvimento representam para usuários vulneráveis. “As redes sociais, e agora o Character.AI, representam um perigo claro e imediato para os jovens, pois eles são vulneráveis a algoritmos persuasivos que exploram sua imaturidade”, disse ao jornal norte-americano The New York Times.
Para Bergman, o Character.AI é um “produto defeituoso”, projetado para atrair crianças para realidades falsas, viciá-las e causar-lhes danos psicológicos. “Simplesmente fico perplexo com o fato de ser aceitável liberar algo tão perigoso para o público”, disse ele. “Para mim, é como se estivessem liberando fibras de amianto nas ruas.”
Se você passar por um momento difícil, procure o Centro de Valorização da Vida (CVV), que oferece atendimento gratuito e sigiloso por telefone (no número 188) e por e-mail ou chat no site, através deste link.