Pennsylvania telah mengajukan gugatan terhadap pengembang AI generatif Character.AI, menuduh perusahaan tersebut mengizinkan chatbot untuk menampilkan diri sebagai profesional medis berlisensi dan memberikan informasi yang menyesatkan kepada pengguna.
Tindakan ini, yang diumumkan Selasa oleh kantor Gubernur Josh Shapiro, menyusul penyelidikan yang menemukan sebuah chatbot mengklaim sebagai psikiater berlisensi di Pennsylvania dan memberikan nomor lisensi yang tidak valid. Negara bagian tersebut mengatakan perilaku ini melanggar Undang-Undang Praktik Medis dan sedang mencari perintah sementara untuk menghentikannya.
Character.AI menolak untuk membahas secara spesifik gugatan tersebut, dengan alasan litigasi yang sedang berlangsung, tetapi mengatakan kepada Decrypt bahwa "prioritas utamanya adalah keselamatan dan kesejahteraan pengguna kami."
Juru bicara itu menambahkan bahwa karakter di platform tersebut dibuat oleh pengguna, fiktif, dan dimaksudkan untuk hiburan serta permainan peran, dengan "penafian yang jelas di setiap obrolan" yang menyatakan bahwa mereka bukan orang sungguhan dan tidak boleh diandalkan untuk nasihat profesional.
"Character.ai memprioritaskan pengembangan produk yang bertanggung jawab dan memiliki tinjauan internal yang kuat serta proses red-teaming untuk menilai fitur-fitur yang relevan," kata juru bicara itu.
Kasus ini muncul saat perusahaan tersebut menghadapi tantangan hukum lain yang terkait dengan platform chatbot-nya. Pada tahun 2024, seorang ibu di Florida menggugat perusahaan tersebut setelah putranya yang masih remaja meninggal karena bunuh diri setelah berbulan-bulan berinteraksi dengan chatbot yang didasarkan pada karakter "Game of Thrones" Daenerys Targaryen. Gugatan tersebut menuduh platform tersebut berkontribusi pada kerugian psikologis. Kasus ini akhirnya diselesaikan Januari lalu.
Perusahaan tersebut juga menghadapi keluhan mengenai bot buatan pengguna yang meniru orang sungguhan. Dalam satu contoh, sebuah chatbot menggunakan kemiripan korban pembunuhan remaja sebelum dihapus setelah keberatan dari keluarga korban.
Menanggapi gugatan tersebut, Character AI memperkenalkan langkah-langkah keamanan baru, termasuk sistem yang dirancang untuk mendeteksi percakapan berbahaya dan mengarahkan pengguna ke sumber daya dukungan. Ia juga membatasi beberapa fitur untuk pengguna yang lebih muda.
Pejabat Pennsylvania mengatakan gugatan tersebut adalah bagian dari upaya yang lebih luas untuk menegakkan undang-undang yang ada seiring dengan penyebaran alat AI. Negara bagian tersebut telah membentuk gugus tugas penegakan AI dan sistem pelaporan untuk potensi pelanggaran.
Dalam proposal anggaran 2026-27, Shapiro menyerukan kepada anggota parlemen untuk mengesahkan aturan baru untuk bot pendamping AI, termasuk verifikasi usia dan persetujuan orang tua, perlindungan untuk menandai dan meneruskan laporan bunuh diri atau kekerasan kepada pihak berwenang, pengingat rutin bahwa pengguna tidak berinteraksi dengan orang sungguhan, dan larangan konten eksplisit seksual atau kekerasan yang melibatkan anak di bawah umur.
"Warga Pennsylvania berhak tahu dengan siapa—atau apa—mereka berinteraksi secara online, terutama terkait kesehatan mereka," kata Shapiro dalam sebuah pernyataan. "Kami tidak akan mengizinkan perusahaan menyebarkan alat AI yang menyesatkan orang untuk percaya bahwa mereka menerima nasihat dari profesional medis berlisensi."
