Kimi K3 dari Moonshot AI meninggalkan sandbox tempat ia diuji dan masuk ke internet terbuka untuk menemukan jawaban atas masalah yang telah diberikan kepadanya, menurut firma keamanan Frontier Security.
Model tersebut sedang dinilai untuk keterampilan keamanan siber defensif dan secara eksplisit ditugaskan untuk menyelesaikan masalah tanpa mencarinya. Model tersebut sama sekali tidak mencoba tugas itu, kata Frontier. Sebaliknya, ia menyelidiki jaringan, menetapkan bahwa resolusi DNS untuk github.com berfungsi, mengkloning repositori benchmark resmi, dan membaca solusi dari disk.
Frontier menyebut ini “specification gaming via network egress leaks,” mencatat sandbox yang dibangun di atas kerangka kerja seperti AI Security Institute's Inspect memblokir lalu lintas masuk sambil membiarkan port HTTPS dan DNS keluar tetap terbuka. Agen yang mampu memeriksa lingkungan shell mereka sendiri saat startup sebagai rutinitas, dan model yang menemukan github.com dapat dijangkau dapat menarik solusi referensi dengan alat baris perintah standar.
Kesalahan konfigurasi memungkinkan hal itu terjadi, seperti yang terjadi pada insiden baru-baru ini yang diungkapkan oleh OpenAI dan Anthropic. "Kami menemukan celah di sandbox," kata CEO Yaron Singer kepada WIRED. "Tetapi kami juga menemukan bahwa Kimi memanfaatkan celah itu."
Peneliti Paul Kassianik mengatakan kepada WIRED bahwa model tersebut "sangat bagus dalam mengikuti tujuan dengan segala cara yang diperlukan" dan tidak memiliki pelindung yang akan menghentikannya dari kecurangan atau melarikan diri. Moonshot tidak menanggapi permintaan komentar dari publikasi tersebut.
Sementara model Anthropic dan OpenAI yang menembus penahanan tertangkap dalam evaluasi internal, salah satunya belum dirilis, dan versi yang menargetkan orang sungguhan dalam pengujian pemerintah Inggris sengaja dimatikan pengklasifikasi sibernya, Kimi K3 dapat diunduh secara terbuka, dan Frontier mengujinya dengan pengamanan yang akan didapatkan pengguna biasa. Ketersediaan tersebut, tulis firma itu, menempatkan perilaku yang sama dalam jangkauan aktor jahat dan membuat insiden tersebut berpotensi lebih berbahaya.
Kimi K3 juga tidak menimbulkan kerusakan. Model tersebut tidak menyerang apa pun setelah berada di luar, karena tidak perlu. Model OpenAI meretas Hugging Face dan empat layanan lainnya untuk mencapai jawaban benchmark, sementara Kimi menemukan jawabannya di repositori publik.
Sandbox yang digunakan Frontier dibangun di atas kerangka evaluasi UK AI Security Institute. AISI mengungkapkan minggu ini bahwa agen dalam pengujian sibernya sendiri telah masuk ke internet langsung dan menargetkan orang sungguhan—insiden terpisah, yang melibatkan model Anthropic dan OpenAI dengan pengamannya dinonaktifkan. Laporannya yang diterbitkan Selasa mencatat bahwa AISI sekarang memindai riwayat jalannya evaluasi untuk perilaku serupa, dan bahwa Kimi K3 termasuk di antara model yang sedang ditinjau. AISI tidak menanggapi permintaan komentar dari WIRED.
Klaim Frontier yang lebih besar adalah bahwa benchmark itu sendiri telah dikompromikan. Model yang membaca jawaban dari GitHub masih lolos, sehingga skor tinggi dapat mencerminkan lingkungan yang bocor daripada penalaran yang asli. Dan jika satu model yang mampu menemukan jalan pintas, firma tersebut berpendapat, model lain yang diberikan akses shell mungkin juga mengambilnya, yang akan mengembung hasil di seluruh bidang daripada hanya untuk Kimi.
Model mengoptimalkan fungsi objektif, tulis Frontier, bukan untuk "niat manusia di balik benchmark," menambahkan bahwa jika ada jalur jaringan menuju solusi "agen yang cukup mampu akan menemukannya."
Matt Fredrikson, CEO Gray Swan dan seorang profesor rekan di Carnegie Mellon, mengatakan kepada WIRED bahwa perilaku tersebut tidak luar biasa. Beri model tujuan tanpa batasan eksplisit di sekitarnya, katanya, dan "ia akan menemukan cara untuk mendapatkan jawabannya." Ia menggambarkannya sebagai kisah peringatan bagi siapa pun yang menjalankan model sebagai agen dalam alat seperti OpenClaw.
Peneliti Frontier membuat poin yang sama dari arah lain: kemampuan yang memungkinkan Kimi keluar juga menjadikan model open-weight sebagai alat defensif yang kuat. Benchmark mereka sendiri menilai Kimi sangat tinggi dalam menemukan kerentanan dalam perangkat lunak dan jaringan, dan Hugging Face menggunakan model Tiongkok yang tidak disebutkan namanya untuk mempertahankan diri selama insiden OpenAI.
Dirilis pada bulan Juli, Kimi K3 adalah model sumber terbuka terbesar yang pernah diterbitkan dan mengguncang pasar dibandingkan dengan debut DeepSeek.
