La Pennsylvanie a intenté une action en justice contre le développeur d'IA générative Character.AI, alléguant que l'entreprise a permis à des chatbots de se présenter comme des professionnels de la santé agréés et de fournir des informations trompeuses aux utilisateurs.

L'action, annoncée mardi par le bureau du gouverneur Josh Shapiro, fait suite à une enquête qui a révélé qu'un chatbot prétendait être un psychiatre agréé en Pennsylvanie et fournissait un numéro de licence invalide. L'État affirme que cette conduite viole la loi sur la pratique médicale et demande une injonction préliminaire pour y mettre fin.

Character.AI a refusé de commenter les détails du procès, citant un litige en cours, mais a déclaré à Decrypt que sa « plus haute priorité est la sécurité et le bien-être de nos utilisateurs ».

Le porte-parole a ajouté que les personnages sur la plateforme sont créés par les utilisateurs, sont fictifs et destinés au divertissement et aux jeux de rôle, avec des « avis de non-responsabilité bien visibles dans chaque conversation » indiquant qu'ils ne sont pas de vraies personnes et ne doivent pas être considérés comme des conseils professionnels.

« Character.ai privilégie le développement responsable des produits et dispose de solides processus d'examen interne et de red-teaming pour évaluer les fonctionnalités pertinentes », a déclaré le porte-parole.

Cette affaire survient alors que l'entreprise est confrontée à d'autres défis juridiques liés à sa plateforme de chatbot. En 2024, une mère de Floride a poursuivi l'entreprise après le suicide de son fils adolescent, suite à des mois d'interaction avec un chatbot basé sur le personnage de Daenerys Targaryen de « Game of Thrones ». Le procès alléguait que la plateforme avait contribué à des préjudices psychologiques. L'affaire a finalement été réglée en janvier dernier.

L'entreprise a également fait l'objet de plaintes concernant des bots créés par les utilisateurs qui imitent des personnes réelles. Dans un cas, un chatbot a utilisé l'image d'une adolescente victime d'un meurtre avant d'être retiré suite aux objections de la famille de la victime.

En réponse aux poursuites, Character AI a introduit de nouvelles mesures de sécurité, notamment des systèmes conçus pour détecter les conversations nuisibles et orienter les utilisateurs vers des ressources de soutien. Elle a également restreint certaines fonctionnalités pour les jeunes utilisateurs.

Les responsables de la Pennsylvanie affirment que le procès s'inscrit dans un effort plus large visant à faire respecter les lois existantes à mesure que les outils d'IA se répandent. L'État a mis en place un groupe de travail sur l'application de la loi en matière d'IA et un système de signalement des violations potentielles.

Dans sa proposition de budget 2026-27, Shapiro a appelé les législateurs à adopter de nouvelles règles pour les bots compagnons d'IA, y compris la vérification de l'âge et le consentement parental, des garanties pour signaler et acheminer aux autorités les rapports d'automutilation ou de violence, des rappels réguliers que les utilisateurs n'interagissent pas avec une personne réelle, et une interdiction de contenu sexuellement explicite ou violent impliquant des mineurs.

« Les Pennsylvaniens méritent de savoir avec qui – ou quoi – ils interagissent en ligne, surtout lorsqu'il s'agit de leur santé », a déclaré Shapiro dans un communiqué. « Nous ne permettrons pas aux entreprises de déployer des outils d'IA qui induisent les gens en erreur en leur faisant croire qu'ils reçoivent des conseils d'un professionnel de la santé agréé. »