
Minnesota sedang melawan xAI milik Elon Musk terkait upaya perusahaan tersebut untuk memblokir HF-1606, sebuah undang-undang negara bagian pertama di jenisnya yang menargetkan alat AI yang menghasilkan gambar seksual realistis dari orang yang dapat diidentifikasi.
Dalam pengajuan ke pengadilan pada hari Jumat, Jaksa Agung Minnesota Keith Ellison berargumen bahwa xAI kemungkinan besar tidak akan berhasil dalam tantangan konstitusionalnya dan gagal menunjukkan bahwa penegakan hukum tersebut akan menyebabkan kerugian yang tidak dapat diperbaiki.
“Dengan Grok Imagine, X.AI telah menciptakan pasar yang tak tertandingi untuk kekerasan seksual digital yang hampir tidak memiliki hambatan masuk,” tulis Ellison. “Pasar tersebut, ditambah dengan kemampuan fungsional Grok Imagine, akan menghancurkan Minnesota sejak awal jika tidak dapat mengarahkan undang-undangnya ke teknologi yang memungkinkan viktimisasi seksual digital terjadi.”
Undang-undang tersebut, yang disahkan pada bulan April dan berlaku efektif pada 1 Agustus, melarang platform dan pengembang perangkat lunak untuk memungkinkan pengguna membuat gambar realistis yang menunjukkan bagian tubuh intim yang tidak muncul dalam gambar asli seseorang yang dapat diidentifikasi.
Menjelang implementasi undang-undang tersebut, pada bulan Juli, xAI menggugat Ellison untuk memblokir undang-undang tersebut, dengan alasan bahwa undang-undang tersebut melanggar Amandemen Pertama dan dapat berlaku untuk gambar yang dilindungi, termasuk pria bertelanjang dada, perenang, dan satir politik. Pelanggaran dapat dikenakan denda hingga $500.000 per gambar.
"Tidak ada perlindungan hukum bagi upaya itikad baik dari penyedia alat kreatif AI tujuan umum untuk menghindari kerugian," tulis xAI dalam gugatannya. "Tanggung jawab hukum berlaku bahkan jika orang yang digambarkan menyetujui—atau membuat gambar itu sendiri—dan bahkan jika gambar tersebut tidak pernah dibagikan."
Minnesota meloloskan tindakan tersebut dengan suara 132-1 di Dewan Perwakilan Rakyat dan 65-0 di Senat setelah para legislator mendengar laporan tentang seorang pria yang menggunakan foto media sosial untuk membuat gambar seksual lebih dari 80 wanita yang dikenalnya.
“Hari ini, kami memimpin bangsa dalam melindungi wanita, anak-anak, dan semua orang dalam kehidupan publik dari kerugian yang disebabkan oleh teknologi nudifikasi AI,” kata Senator Maye Quade, yang memimpin upaya tersebut, dalam sebuah pernyataan saat itu. “Perusahaan yang menyediakan teknologi ini secara gratis online dan di toko aplikasi tidak akan lagi diizinkan untuk memungkinkan predator yang menyalahgunakan dan memangsa orang dewasa dan anak-anak hanya dengan satu klik tombol.
Kasus ini kini berpusat pada apakah undang-undang tersebut mengatur kebebasan berpendapat atau teknologi.
Grok juga menghadapi pengawasan ketat atas deepfake eksplisit secara seksual.
Pada bulan Januari, sebuah lembaga pengawas memperkirakan Grok menghasilkan lebih dari 23.000 gambar anak-anak yang diseksualisasi selama 11 hari, memicu penyelidikan di beberapa negara.
Pada bulan Maret, tiga anak di bawah umur di California bergabung dengan yang lain dalam menggugat xAI, menuduh Grok digunakan untuk mengubah foto mereka menjadi materi pelecehan seksual anak yang dihasilkan AI. xAI menyatakan telah menangguhkan lebih dari 50.000 akun dan mengajukan lebih dari 70.000 laporan ke National Center for Missing and Exploited Children pada tahun 2026.