Plataforma de IA restringe acesso de menores após processo por caso de suicídio
Por NR Support
A Character.AI, uma das plataformas de inteligência artificial mais populares entre jovens, anunciou que vai restringir o uso de seus chatbots por menores de 18 anos. A partir de 25 de novembro, adolescentes não poderão mais conversar livremente com os personagens virtuais. Até lá, o tempo máximo de uso diário será de duas horas.
Ação judicial e mudança de política
A decisão ocorre após a empresa ser processada por familiares de Sewell Setzer III, um adolescente de 14 anos dos Estados Unidos que se suicidou em 2024 depois de criar um vínculo emocional com uma personagem virtual inspirada na série Game of Thrones. Segundo o processo movido por sua mãe, Megan Garcia, o chatbot, chamado “Daenerys”, teria mantido conversas de cunho sentimental e sexual com o garoto, além de se apresentar como “psicoterapeuta licenciado e amante adulto”.
A Character.AI declarou que a mudança foi tomada após “avaliar reportagens e o feedback de órgãos reguladores, especialistas em segurança e pais”. A empresa disse que as novas restrições visam proteger usuários menores de idade e que suas ações são “mais conservadoras do que as de concorrentes”.
Uso indevido e investigações em andamento
A plataforma, criada por ex-engenheiros do Google, permite criar personagens capazes de conversar com usuários sobre diversos temas — de história e literatura até emoções e relacionamentos. No entanto, seu uso indevido levantou preocupações sobre a influência psicológica desses sistemas em jovens em busca de apoio emocional.
Após o caso de Sewell, outras famílias também moveram ações contra a empresa nos Estados Unidos. Um dos processos, apresentado no Texas, acusa a Character.AI de expor menores a conteúdo sexual e de incentivar automutilação. Outro relata que um chatbot teria sugerido a um menino de 11 anos que matasse os pais por restringirem seu tempo de tela.
Em resposta às críticas, a empresa implementou alertas automáticos para usuários que digitam frases relacionadas a suicídio ou automutilação, direcionando-os a canais de apoio.
Responsabilidade compartilhada
Além da Character.AI, o Google também foi incluído nas ações judiciais, sob a alegação de que teria contribuído para o desenvolvimento da tecnologia. Contudo, a big tech negou qualquer vínculo operacional direto com a startup.
Casos semelhantes têm pressionado outras empresas do setor, como a OpenAI, criadora do ChatGPT, a adotar medidas preventivas contra riscos psicológicos associados ao uso de chatbots.
As mudanças da Character.AI representam um marco no debate sobre a segurança digital e o impacto emocional das interações entre humanos e inteligências artificiais. A empresa afirmou que pretende desenvolver novos recursos de criação de vídeos e histórias voltados ao público infantojuvenil, com foco em entretenimento seguro.