Pensilvania ha presentado una demanda contra el desarrollador de IA generativa Character.AI, alegando que la empresa permitió que los chatbots se presentaran como profesionales médicos con licencia y proporcionaran información engañosa a los usuarios.

La acción, anunciada el martes por la oficina del Gobernador Josh Shapiro, surge de una investigación que descubrió que un chatbot afirmaba ser un psiquiatra con licencia en Pensilvania y proporcionaba un número de licencia inválido. El estado sostiene que esta conducta viola la Ley de Práctica Médica y busca un mandato judicial preliminar para detenerla.

Character.AI se negó a abordar los detalles de la demanda, citando el litigio en curso, pero le dijo a Decrypt que su "máxima prioridad es la seguridad y el bienestar de nuestros usuarios".

El portavoz añadió que los personajes de la plataforma son creados por usuarios, ficticios y destinados al entretenimiento y los juegos de rol, con "descargos de responsabilidad destacados en cada chat" que afirman que no son personas reales y no se debe confiar en ellos para obtener asesoramiento profesional.

“Character.ai prioriza el desarrollo responsable de productos y cuenta con sólidas revisiones internas y procesos de ‘red-teaming’ para evaluar las características relevantes”, dijo el portavoz.

El caso llega mientras la empresa enfrenta otros desafíos legales relacionados con su plataforma de chatbot. En 2024, una madre de Florida demandó a la empresa después de que su hijo adolescente muriera por suicidio tras meses de interacción con un chatbot basado en el personaje Daenerys Targaryen de “Juego de Tronos”. La demanda alegaba que la plataforma contribuyó al daño psicológico. El caso finalmente se resolvió el pasado mes de enero.

La compañía también ha enfrentado quejas por bots creados por usuarios que imitan a personas reales. En un caso, un chatbot utilizó la imagen de una víctima de asesinato adolescente antes de ser eliminado después de las objeciones de la familia de la víctima.

En respuesta a las demandas, Character AI introdujo nuevas medidas de seguridad, incluyendo sistemas diseñados para detectar conversaciones dañinas y dirigir a los usuarios a recursos de apoyo. También restringió algunas funciones para usuarios más jóvenes.

Funcionarios de Pensilvania dicen que la demanda es parte de un impulso más amplio para hacer cumplir las leyes existentes a medida que las herramientas de IA se extienden. El estado ha establecido un grupo de trabajo de cumplimiento de IA y un sistema de denuncia de posibles infracciones.

En su propuesta de presupuesto 2026-27, Shapiro pidió a los legisladores que aprueben nuevas reglas para los bots de compañía de IA, incluyendo verificación de edad y consentimiento parental, salvaguardias para señalar y dirigir informes de autolesiones o violencia a las autoridades, recordatorios regulares de que los usuarios no están interactuando con una persona real, y una prohibición de contenido sexualmente explícito o violento que involucre a menores.

“Los habitantes de Pensilvania merecen saber con quién —o con qué— están interactuando en línea, especialmente cuando se trata de su salud”, dijo Shapiro en un comunicado. “No permitiremos que las empresas implementen herramientas de IA que engañen a la gente haciéndoles creer que están recibiendo asesoramiento de un profesional médico con licencia”.