Nagdemanda ang Pennsylvania laban sa developer ng generative AI na Character.AI, na nagsasaad na pinayagan ng kumpanya ang mga chatbot na magpanggap bilang mga lisensyadong propesyonal sa medisina at magbigay ng nakaliligaw na impormasyon sa mga gumagamit.

Ang aksyon, na inihayag noong Martes ng tanggapan ni Gobernador Josh Shapiro, ay sumusunod sa isang imbestigasyon na natuklasan na isang chatbot ang nag-claim na lisensyadong psychiatrist sa Pennsylvania at nagbigay ng isang hindi balidong numero ng lisensya. Sinabi ng estado na nilalabag ng pag-uugaling ito ang Medical Practice Act at humihingi ng isang paunang injunction upang itigil ito.

Tumanggi ang Character.AI na sagutin ang mga detalye ng demanda, na binanggit ang patuloy na litigasyon, ngunit sinabi sa Decrypt na ang “pinakamataas na priyoridad nito ay ang kaligtasan at kapakanan ng aming mga gumagamit.”

Idinagdag ng tagapagsalita na ang mga karakter sa platform ay gawa ng gumagamit, kathang-isip, at inilaan para sa libangan at role-playing, na may “kapansin-pansing mga disclaimer sa bawat chat” na nagsasaad na hindi sila totoong tao at hindi dapat asahan para sa propesyonal na payo.

“Priyoridad ng Character.ai ang responsableng pagpapaunlad ng produkto at mayroong matatag na panloob na pagsusuri at red-teaming na proseso upang suriin ang mga nauugnay na feature,” sabi ng tagapagsalita.

Ang kaso ay dumating habang nahaharap ang kumpanya sa iba pang mga legal na hamon na konektado sa platform ng chatbot nito. Noong 2024, idinemanda ng isang ina sa Florida ang kumpanya matapos mamatay sa pagpapakamatay ang kanyang anak na tinedyer pagkatapos ng buwan ng pakikipag-ugnayan sa isang chatbot batay sa karakter ng “Game of Thrones” na si Daenerys Targaryen. Inakusahan ng demanda na nag-ambag ang platform sa pinsalang sikolohikal. Ang kaso ay sa huli ay naayos noong Enero.

Nahaharap din ang kumpanya sa mga reklamo tungkol sa mga bot na gawa ng gumagamit na gumagaya sa mga totoong tao. Sa isang pagkakataon, ginamit ng isang chatbot ang wangis ng isang biktima ng pagpatay na tinedyer bago ito inalis matapos ang pagtutol mula sa pamilya ng biktima.

Bilang tugon sa mga demanda, nagpakilala ang Character AI ng mga bagong panukala sa kaligtasan, kabilang ang mga sistema na idinisenyo upang tuklasin ang mga mapaminsalang pag-uusap at idirekta ang mga gumagamit sa mga mapagkukunan ng suporta. Pinaghihigpitan din nito ang ilang feature para sa mas batang gumagamit.

Sinabi ng mga opisyal ng Pennsylvania na ang demanda ay bahagi ng mas malawak na pagtulak upang ipatupad ang umiiral na mga batas habang kumakalat ang mga tool ng AI. Nagtatag ang estado ng isang AI enforcement task force at isang sistema ng pag-uulat para sa mga potensyal na paglabag.

Sa kanyang panukala sa badyet para sa 2026-27, nanawagan si Shapiro sa mga mambabatas na magpasa ng mga bagong alituntunin para sa mga AI companion bot, kabilang ang pagpapatunay ng edad at pahintulot ng magulang, mga pananggalang upang i-flag at idirekta ang mga ulat ng pagpinsala sa sarili o karahasan sa mga awtoridad, regular na paalala na ang mga gumagamit ay hindi nakikipag-ugnayan sa isang totoong tao, at isang pagbabawal sa sexually explicit o marahas na nilalaman na kinasasangkutan ng mga menor de edad.

“Karapat-dapat malaman ng mga Pennsylvanian kung sino—o ano—ang kanilang nakikipag-ugnayan online, lalo na pagdating sa kanilang kalusugan,” sabi ni Shapiro sa isang pahayag. “Hindi namin papayagan ang mga kumpanya na mag-deploy ng mga tool ng AI na manlinlang sa mga tao na maniwala na nakakatanggap sila ng payo mula sa isang lisensyadong medikal na propesyonal.”