Ethereum Foundation mengatakan agen AI mahir dalam menemukan kerentanan pada infrastruktur jaringan, namun sebagian besar merupakan positif palsu, menurut sebuah blog yang diposting pada hari Kamis.

"Agen menemukan bug bukanlah kejutan. Yang mengejutkan adalah betapa sedikitnya pekerjaan yang diperlukan untuk menemukannya, dan betapa banyaknya pekerjaan yang diperlukan untuk membedakan bug yang asli dari yang hanya terlihat asli," kata EF.

Tim Keamanan Protokol EF telah menggunakan agen AI terkoordinasi untuk menguji infrastruktur jaringan yang kritis, termasuk perangkat lunak sistem, kode kriptografi, dan smart contract. Agen-agen tersebut telah menemukan bug nyata, termasuk "panic yang dapat dipicu dari jarak jauh di gossipsub libp2p, bagian inti dari lapisan peer-to-peer yang dijalankan oleh klien konsensus Ethereum," yang telah diperbaiki dan diungkapkan secara publik.

Meskipun yayasan mengatakan agen AI dapat dengan cepat mengidentifikasi kerentanan potensial, teknologi ini secara bersamaan telah menciptakan beban kerja yang lebih besar bagi peneliti manusia, yang harus mengevaluasi semakin banyak bug potensial, atau "kandidat."

"Sebagian besar kandidat salah, duplikat, atau di luar cakupan. Itu bukan masalah dengan metodenya; begitulah cara kerjanya," tulis EF. "Tujuannya adalah untuk menolak yang salah dengan cepat dan mendukung yang asli dengan bukti yang sulit dibantah."

Kerentanan potensial tidak dianggap sebagai temuan nyata sampai peneliti dapat mereproduksi kegagalan secara independen terhadap kode aktual. Yayasan juga mencatat bahwa agen AI dapat kesulitan mengidentifikasi bug yang muncul secara berurutan.

Dengan kata lain, beberapa peneliti keamanan terkemuka Ethereum menganggap AI sebagai alat pencarian yang kuat, tetapi bukan sebuah oracle, begitu kira-kira.

"Waktu yang dulunya dihabiskan untuk mencari dan mengejar hipotesis kini digunakan untuk menilainya dalam skala besar, termasuk membangun oracle, menjalankan triase, menjaga daftar masalah yang diketahui, dan menangani pengungkapan," kata mereka. "Hambatan itu tidak hilang. Ia bergeser dari menemukan bug menjadi memercayai hasilnya, yang merupakan tempat yang lebih baik, karena di situlah penilaian manusia benar-benar penting."

Blog hari Kamis ini menyusul reorganisasi EF baru-baru ini, yang menghasilkan struktur operasional baru dan yayasan memangkas 20% dari total tenaga kerjanya.