OpenAI telah memperkenalkan GPT-Red, sebuah sistem AI otomatis yang dirancang untuk menemukan kerentanan keamanan dalam model bahasanya.
GPT-Red mengambil namanya dari red teaming keamanan siber, yaitu praktik mencoba membobol sistem secara sengaja untuk mengidentifikasi kelemahan sebelum penyerang dapat mengeksploitasinya.
Dalam sebuah unggahan pada hari Rabu, OpenAI mengatakan alat tersebut membantu membuat GPT-5.6 lebih tahan terhadap serangan prompt injection sebelum disebarkan.
“Seiring dengan berkembangnya kemampuan model, keamanan dan penyelarasan harus sejalan dengannya,” tulis OpenAI di X. “Red-teaming sangat penting, tetapi pendekatan saat ini sulit diskalakan, menciptakan hambatan kritis. GPT-Red adalah salah satu cara kami mengatasinya.”
Menurut OpenAI, GPT-Red dilatih melalui pembelajaran penguatan mandiri (self-play reinforcement learning), menghasilkan serangan prompt injection yang semakin kuat sementara model pertahanan belajar untuk melawannya. Perusahaan mengatakan serangan tersebut dimasukkan ke dalam proses pelatihan GPT-5.6, melaporkan bahwa GPT-Red berhasil dalam 84% skenario evaluasi internal, dibandingkan dengan 13% untuk red teamer manusia dalam tes yang sama.
“GPT-Red belajar melalui self-play adversarial, di mana tujuannya adalah untuk melakukan prompt injection ke berbagai model pertahanan yang menantang,” tulis OpenAI. “Setiap serangan berhasil yang ditemukan GPT-Red digunakan untuk meningkatkan pertahanan ini, mendorong GPT-Red untuk terus menemukan kegagalan yang lebih luas dan lebih kompleks.”
Dalam sebuah studi kasus, OpenAI mengatakan sistem tersebut memanipulasi agen mesin penjual otomatis otonom untuk menurunkan harga, memesan inventaris diskon, dan membatalkan pesanan pelanggan lain sebelum kerentanan tersebut diungkapkan dan diatasi.
GPT-Red melanjutkan upaya keamanan siber OpenAI selama bertahun-tahun setelah peluncuran publik ChatGPT.
Pada tahun 2023, perusahaan meluncurkan Jaringan Red Teaming OpenAI, merekrut peneliti keamanan siber eksternal dan pakar domain untuk menguji ChatGPT dan model lainnya guna mencari celah keamanan sebelum dirilis. GPT-Red memperluas upaya tersebut dengan mengotomatiskan sebagian besar proses, menggunakan model AI untuk menghasilkan serangan prompt injection dan tes adversarial lainnya pada skala yang akan sulit dilakukan oleh peneliti manusia saja.
Pengumuman OpenAI mencerminkan pergeseran yang lebih luas menuju penggunaan AI untuk mengamankan AI.
Awal bulan ini, Ethereum Foundation mengatakan telah mengerahkan agen AI untuk melakukan red-team pada infrastruktur jaringan kritis, mengungkap kerentanan dalam perangkat lunak yang digunakan oleh klien konsensus Ethereum. Peneliti mengatakan agen AI dapat mencari basis kode yang lebih besar daripada manusia, tetapi tantangannya telah bergeser dari menemukan potensi bug menjadi membuktikan mana yang dapat dieksploitasi.
Menurut OpenAI, GPT-Red akan tetap menjadi alat internal karena mengandung kemampuan ofensif yang sengaja dikembangkan.
“Kami percaya dengan GPT-Red bahwa kami telah mulai membuka flywheel serupa untuk keamanan, di mana model saat ini dapat digunakan untuk membuat model di masa depan lebih tangguh, selaras, dan dapat dipercaya,” kata mereka.
