AEREDIUM mengatakan keamanan AI perusahaan harus bergeser dari keamanan model ke penahanan kriptografis dan kontrol otorisasi struktural.

Ketika OpenAI mengungkapkan bahwa salah satu model AI-nya lolos dari lingkungan pengujian yang dibatasi dan membobol infrastruktur Hugging Face, diskusi dengan cepat berpusat pada keamanan AI. Pertanyaan-pertanyaan itu akrab: Bisakah sistem AI diselaraskan? Bisakah mereka dipercaya? Apakah pagar pembatas saat ini cukup untuk mencegah perilaku berbahaya?

Menurut Eitan Katz, Chief Strategy Officer di AEREDIUM, pertanyaan-pertanyaan itu mengabaikan pelajaran yang lebih besar.

“Ini bukan hanya insiden keamanan AI,” kata Katz. “Ini adalah kegagalan penahanan. Setelah agen AI menjadi cukup mumpuni, pagar pembatas saja tidak lagi cukup. Organisasi membutuhkan infrastruktur yang dapat secara kriptografis memberlakukan apa yang agen AI diizinkan, dan tidak diizinkan, untuk lakukan.”

Perbedaan ini penting karena keamanan AI dan penahanan AI memecahkan masalah yang berbeda.

Keamanan AI berfokus pada memengaruhi perilaku model. Ini mempertanyakan apakah sistem AI dapat menolak permintaan berbahaya, menghindari menghasilkan keluaran yang berbahaya, atau mengikuti instruksi manusia. Penahanan AI dimulai dari asumsi yang berbeda: terlepas dari seberapa mampu atau cerdasnya agen AI, ia tidak boleh melampaui otoritas yang telah secara eksplisit diberikan kepadanya.

Insiden OpenAI dan Hugging Face mengilustrasikan perbedaan tersebut.

Menurut pengungkapan OpenAI sendiri, evaluasi sengaja dijalankan dengan pengklasifikasi produksi dinonaktifkan dan penolakan siber dikurangi. Hal itu membuat insiden ini sangat instruktif. Daripada menunjukkan kegagalan pelatihan penolakan, insiden ini menunjukkan apa yang terjadi ketika kontrol struktural menjadi garis pertahanan utama. Seperti yang Katz argumenkan, setelah filter perilaku tidak ada, agen yang mampu dan berorientasi tujuan akan memperlakukan infrastruktur sekitarnya sebagai permukaan yang tersedia kecuali sesuatu yang lebih dalam mencegahnya melakukan hal tersebut.

Itulah mengapa, Katz berpendapat, penahanan pada dasarnya bukanlah masalah pemfilteran.

Pagar pembatas model tetap berharga untuk mengurangi penyalahgunaan yang tidak disengaja dan meningkatkan biaya penyalahgunaan biasa. Namun secara alamiah, pagar pembatas bersifat probabilistik, dan mereka mengasumsikan sistem AI dapat dicegah atau dibujuk untuk tidak melakukan tindakan yang tidak diinginkan. Agen yang cukup mumpuni yang mengoptimalkan tujuan tertentu mungkin malah mencari jalan di sekitar kontrol tersebut. Batas keamanan yang tahan lama, Katz berpendapat, harus ada di bawah model itu sendiri.

“Kontrol yang tahan lama bersifat struktural,” tulis Katz. “Otoritas harus dibatasi di bawah titik keputusan, pada kuncinya itu sendiri.”

Kesimpulannya sederhana: “Tindakan di luar mandat tidak diblokir. Itu tidak dapat diproduksi.”

Filosofi itu membentuk dasar AERPOLICE.

Daripada mencoba menentukan apakah model AI berperilaku aman, AERPOLICE dirancang untuk menilai apakah infrastruktur suatu organisasi dapat menahan agen AI otonom melalui kontrol struktural. Kerangka kerja ini berfokus pada apakah otoritas diberlakukan secara kriptografis, apakah izin dibatasi, dan apakah agen otonom dicegah untuk menjalankan tindakan di luar mandat yang telah diberikan kepada mereka.

Bagi Katz, implikasinya melampaui penerapan AI internal organisasi.

Pertanyaannya bukan lagi hanya apakah agen AI pribadi dapat dipercaya. Perusahaan juga harus berasumsi bahwa agen AI eksternal yang semakin mumpuni pada akhirnya akan berinteraksi dengan sistem mereka. Penahanan oleh karena itu menjadi bagian dari postur keamanan keseluruhan suatu organisasi, yang mendefinisikan seberapa baik infrastrukturnya dapat menahan agen otonom yang berorientasi tujuan, terlepas dari dari mana mereka berasal.

Hal ini juga mengubah cara perusahaan harus berpikir tentang tanggung jawab. Keamanan tidak bisa lagi hanya bergantung pada perilaku model atau pada kebijakan penyedia AI mana pun yang digunakan organisasi. Organisasi membutuhkan kontrol yang memberlakukan batas otorisasi mereka sendiri secara independen dari model itu sendiri.

Tidak ada satu pun dari ini, Katz berpendapat, yang mengurangi pentingnya keamanan AI. Pagar pembatas terus memainkan peran penting dalam mengurangi kerugian yang tidak disengaja dan meningkatkan ekosistem AI secara keseluruhan. Tetapi mereka tidak boleh disalahartikan sebagai batas keamanan yang melindungi sistem perusahaan.

Pelajaran yang lebih luas dari insiden OpenAI dan Hugging Face, menurut Katz, adalah bahwa keamanan AI perusahaan sedang memasuki fase baru. Saat agen AI otonom menjadi lebih mumpuni, organisasi akan semakin membutuhkan infrastruktur yang dapat memberlakukan apa yang agen tersebut diotorisasi untuk lakukan, daripada hanya mengandalkan apa yang diharapkan dari mereka.

Masa depan keamanan AI perusahaan, ia berpendapat, akan lebih sedikit bergantung pada apakah model AI berperilaku benar, dan lebih banyak pada apakah model tersebut secara struktural dicegah untuk melampaui wewenangnya.