A Pensilvânia entrou com uma ação judicial contra a desenvolvedora de IA generativa Character.AI, alegando que a empresa permitiu que chatbots se apresentassem como profissionais médicos licenciados e fornecessem informações enganosas aos usuários.

A ação, anunciada na terça-feira pelo gabinete do Governador Josh Shapiro, segue uma investigação que descobriu que um chatbot alegou ser um psiquiatra licenciado na Pensilvânia e forneceu um número de licença inválido. O estado afirma que essa conduta viola a Lei de Prática Médica e está buscando uma liminar para impedi-la.

A Character.AI recusou-se a abordar os detalhes do processo, citando litígios em curso, mas disse ao Decrypt que sua "mais alta prioridade é a segurança e o bem-estar de nossos usuários".

O porta-voz acrescentou que os personagens na plataforma são criados por usuários, são fictícios e destinados a entretenimento e jogos de interpretação, com "avisos proeminentes em cada chat" afirmando que não são pessoas reais e não devem ser usados como fonte de aconselhamento profissional.

"A Character.ai prioriza o desenvolvimento responsável de produtos e possui robustos processos internos de revisão e red-teaming para avaliar recursos relevantes", disse o porta-voz.

O caso ocorre enquanto a empresa enfrenta outros desafios legais ligados à sua plataforma de chatbot. Em 2024, uma mãe da Flórida processou a empresa depois que seu filho adolescente morreu por suicídio após meses de interação com um chatbot baseado na personagem Daenerys Targaryen de "Game of Thrones". A ação alegou que a plataforma contribuiu para o dano psicológico. O caso foi finalmente resolvido em janeiro passado.

A empresa também enfrentou reclamações sobre bots criados por usuários que imitam pessoas reais. Em um caso, um chatbot usou a imagem de uma vítima de assassinato adolescente antes de ser removido após objeções da família da vítima.

Em resposta às ações judiciais, a Character AI introduziu novas medidas de segurança, incluindo sistemas projetados para detectar conversas prejudiciais e direcionar os usuários a recursos de apoio. Também restringiu alguns recursos para usuários mais jovens.

Autoridades da Pensilvânia dizem que o processo faz parte de um esforço mais amplo para fazer cumprir as leis existentes à medida que as ferramentas de IA se espalham. O estado estabeleceu uma força-tarefa de aplicação da IA e um sistema de relatórios para possíveis violações.

Em sua proposta orçamentária para 2026-27, Shapiro pediu aos legisladores que aprovassem novas regras para bots de IA companheiros, incluindo verificação de idade e consentimento dos pais, salvaguardas para sinalizar e encaminhar relatórios de automutilação ou violência às autoridades, lembretes regulares de que os usuários não estão interagindo com uma pessoa real e a proibição de conteúdo sexualmente explícito ou violento envolvendo menores.

"Os habitantes da Pensilvânia merecem saber com quem – ou o quê – estão interagindo online, especialmente quando se trata de sua saúde", disse Shapiro em um comunicado. "Não permitiremos que as empresas implementem ferramentas de IA que enganam as pessoas, fazendo-as acreditar que estão recebendo conselhos de um profissional médico licenciado."