Pensylwania złożyła pozew przeciwko deweloperowi generatywnej sztucznej inteligencji Character.AI, zarzucając firmie, że pozwalała chatbotom podawać się za licencjonowanych specjalistów medycznych i dostarczać użytkownikom wprowadzających w błąd informacji.
Działanie to, ogłoszone we wtorek przez biuro gubernatora Josha Shapiro, jest następstwem dochodzenia, które wykazało, że chatbot podawał się za licencjonowanego psychiatrę w Pensylwanii i podał nieważny numer licencji. Stan twierdzi, że takie postępowanie narusza ustawę o praktykach medycznych i dąży do uzyskania wstępnego nakazu sądowego, aby to powstrzymać.
Character.AI odmówiło odniesienia się do szczegółów pozwu, powołując się na toczące się postępowanie, ale powiedział redakcji Decrypt, że jej „najwyższym priorytetem jest bezpieczeństwo i dobre samopoczucie naszych użytkowników”.
Rzecznik dodał, że postacie na platformie są tworzone przez użytkowników, są fikcyjne i przeznaczone do rozrywki oraz odgrywania ról, a „widoczne zrzeczenia się odpowiedzialności w każdym czacie” stwierdzają, że nie są to prawdziwe osoby i nie należy na nich polegać w kwestii profesjonalnych porad.
„Character.ai priorytetyzuje odpowiedzialny rozwój produktu i posiada solidne wewnętrzne przeglądy oraz procesy 'red-teamingowe' w celu oceny odpowiednich funkcji” – powiedział rzecznik.
Sprawa ma miejsce w momencie, gdy firma stawia czoła innym wyzwaniom prawnym związanym z jej platformą chatbotów. W 2024 roku matka z Florydy pozwała firmę po tym, jak jej nastoletni syn zmarł w wyniku samobójstwa po miesiącach interakcji z chatbotem opartym na postaci Daenerys Targaryen z „Gry o Tron”. Pozew zarzucał, że platforma przyczyniła się do szkód psychicznych. Sprawa została ostatecznie rozstrzygnięta w styczniu tego roku.
Firma spotkała się również ze skargami dotyczącymi tworzonych przez użytkowników botów, które naśladują prawdziwe osoby. W jednym przypadku chatbot używał wizerunku nastoletniej ofiary morderstwa, zanim został usunięty po sprzeciwie rodziny ofiary.
W odpowiedzi na pozwy, Character AI wprowadziła nowe środki bezpieczeństwa, w tym systemy zaprojektowane do wykrywania szkodliwych rozmów i kierowania użytkowników do zasobów wsparcia. Ograniczyła również niektóre funkcje dla młodszych użytkowników.
Urzędnicy z Pensylwanii twierdzą, że pozew jest częścią szerszej inicjatywy mającej na celu egzekwowanie istniejących przepisów w miarę rozprzestrzeniania się narzędzi AI. Stan utworzył grupę zadaniową ds. egzekwowania prawa AI oraz system zgłaszania potencjalnych naruszeń.
W swojej propozycji budżetowej na lata 2026-27, Shapiro wezwał ustawodawców do przyjęcia nowych przepisów dotyczących botów towarzyszących AI, w tym weryfikacji wieku i zgody rodziców, zabezpieczeń do oznaczania i przekazywania władzom zgłoszeń o samookaleczeniu lub przemocy, regularnych przypomnień, że użytkownicy nie wchodzą w interakcję z prawdziwą osobą, oraz zakazu treści o charakterze seksualnym lub przemocowym z udziałem nieletnich.
„Mieszkańcy Pensylwanii zasługują na to, aby wiedzieć, z kim – lub z czym – wchodzą w interakcję online, zwłaszcza jeśli chodzi o ich zdrowie” – powiedział Shapiro w oświadczeniu. „Nie pozwolimy firmom na wdrażanie narzędzi AI, które wprowadzają ludzi w błąd, wierząc, że otrzymują porady od licencjonowanego specjalisty medycznego.”
