CEO Anthropic Dario Amodei menyatakan pada hari Rabu bahwa pemerintah tidak dapat lagi memperlakukan regulasi AI sebagai masalah untuk dipelajari dan bahwa Amerika Serikat membutuhkan persyaratan keamanan yang mengikat untuk model AI paling kuat.

Dalam esai berjudul "Policy on the AI Exponential," Amodei berargumen bahwa persyaratan transparansi tidak lagi memadai dan menyerukan regulasi yang mengikat untuk sistem AI frontier.

“AI berkembang pesat — hanya dalam empat tahun, model AI telah berkembang dari yang nyaris tidak mampu menulis baris kode yang koheren hingga menulis sebagian besar kode di perusahaan AI besar,” tulis Amodei.

Esai Amodei muncul saat Anthropic memperluas akses ke Claude Mythos dengan peluncuran Mythos 5 pada hari Selasa, model AI frontier terbatasnya untuk organisasi keamanan siber dan mitra pemerintah. Para peneliti, termasuk AI Security Institute Inggris, menemukan bahwa model ini dapat secara otonom melaksanakan serangan siber yang kompleks.

Menurut Amodei, proposalnya meminjam dari struktur regulasi yang digunakan oleh Federal Aviation Administration.

“Model AI frontier, seperti pesawat terbang, harus diwajibkan melalui pengujian teknis dan audit, dan perilisannya harus diblokir atau dibatalkan sebagai ancaman terhadap keselamatan publik jika tidak memenuhi standar keamanan tinggi,” tulisnya. “Saya bersyukur melihat Perintah Eksekutif pemerintahan Trump bergerak secara bertahap menuju peran yang lebih besar bagi pemerintah dalam AI, meskipun proposal Anthropic merekomendasikan tindakan yang lebih jauh.”

Di bawah proposal Amodei, kerangka regulasi akan mewajibkan pengujian pihak ketiga model AI canggih secara mandiri, wewenang pemerintah untuk memblokir implementasi yang tidak aman, serta persyaratan agar perusahaan mengamankan bobot model, melakukan pengujian keamanan, dan melaporkan insiden serius. Ia juga menyerukan pemerintah untuk bersiap menghadapi disrupsi pekerjaan yang didorong AI dan kemajuan dalam pengembangan obat, membatasi pengawasan dan senjata otonom dalam penegakan hukum domestik, serta memperkuat kerja sama antar negara demokratis dalam teknologi AI kritis.

“Pertama, disrupsi pekerjaan yang berkelanjutan tidak diinginkan dan berbahaya, dan kita harus melakukan segala yang kita bisa untuk meminimalkan atau mencegahnya, bukan menyebabkannya,” tulisnya, merujuk pada contoh-contoh sebelumnya di mana ia memperingatkan tentang disrupsi pekerjaan. “Kedua, setiap respons terhadap disrupsi pekerjaan yang didorong AI perlu menangani kebutuhan untuk menyediakan secara ekonomi bagi setiap orang, dan kebutuhan bagi orang-orang untuk menemukan makna, tujuan, dan agensi.”

Esai tersebut juga muncul di minggu yang sama saat Anthropic meluncurkan Claude Fable 5, versi publik dari Claude Mythos 5, yang mengarahkan permintaan tertentu yang melibatkan keamanan siber, biologi, kimia, dan pengembangan AI ke Claude Opus 4.8 yang kurang canggih sebagai perlindungan terhadap penyalahgunaan. Peluncuran ini menuai kritik dari pengembang dan peneliti mengenai penggunaan token Fable yang lebih tinggi, persyaratan retensi data 30 hari yang wajib, dan pengamanan yang dapat mengurangi kemampuan model tanpa memberi tahu pengguna.

Seruan Amodei untuk perubahan kebijakan seputar pengembangan AI juga muncul saat Anthropic bersiap untuk go public. Awal bulan ini, perusahaan mengajukan dokumen kepada Komisi Sekuritas dan Bursa AS untuk penawaran umum perdana setelah mengumpulkan pendanaan Seri H senilai $65 miliar dengan valuasi $965 miliar.

Meskipun Amodei membingkai isu ini sebagai perlombaan antara kemajuan teknologi dan kebijakan publik, para kritikus mempertanyakan apakah seruan untuk regulasi AI yang lebih ketat benar-benar melayani kepentingan publik. Pada bulan April, CEO OpenAI Sam Altman menuduh Anthropic menggunakan "pemasaran berbasis ketakutan" untuk mempromosikan Claude Mythos, berargumen bahwa kekhawatiran tentang AI canggih dapat digunakan untuk membenarkan konsentrasi kendali teknologi di antara sejumlah kecil perusahaan.

“Anda dapat membenarkan itu dengan banyak cara berbeda, dan sebagiannya nyata, seperti akan ada kekhawatiran keamanan yang sah,” kata Altman. “Tetapi jika yang Anda inginkan adalah ‘kami membutuhkan kendali AI, hanya kami, karena kami adalah orang-orang yang dapat dipercaya’, saya pikir pemasaran berbasis ketakutan mungkin adalah cara paling efektif untuk membenarkan itu.”

Amodei menolak gagasan bahwa kekhawatiran tentang AI canggih adalah masalah hubungan masyarakat semata, alih-alih berargumen bahwa ketakutan tentang teknologi tersebut mencerminkan kekhawatiran sah yang harus ditangani.

“Orang-orang khawatir tentang AI karena mereka dengan benar menganggap bahwa risikonya nyata, bukan karena para CEO AI kurang Panglossian,” katanya, merujuk pada filsuf fiksi Pangloss dari Candide karya Voltaire, yang dikenal karena mempertahankan optimisme tak tergoyahkan bahwa segala sesuatu adalah yang terbaik tanpa memandang keadaan.

“Saya percaya adalah tugas saya sebagai pemimpin AI untuk terus transparan tentang risiko-risiko ini, dan kekhawatiran publik sebagai tanggapan atas transparansi ini merupakan akuntabilitas demokratis yang berfungsi sebagaimana mestinya,” katanya.