DGrid AI memperkenalkan kerangka kerja Proof of Quality baru yang dirancang untuk mengevaluasi output AI dan meningkatkan distribusi imbalan di seluruh jaringan terdesentralisasi.
Jaringan AI terdesentralisasi memiliki masalah pembayaran yang diam-diam diupayakan oleh para peneliti selama bertahun-tahun, dan sebuah makalah terbaru dari DGrid AI mengajukan masalah tersebut secara langsung. Sistem penilaian kualitas yang mendukung imbalan node sebagian besar bergantung pada ketersediaan jawaban yang benar untuk dibandingkan. Dalam produksi, jawaban tersebut jarang ada.
Makalah ini, yang keempat dalam seri penelitian berkelanjutan DGrid tentang Proof of Quality (PoQ), mengusulkan alternatif yang terlatih dan menerbitkan angka-angka di baliknya. PoQ menggunakan model evaluator kecil untuk menilai kualitas setiap output, dan skor-skor tersebut mendorong imbalan. Murah, dan dapat diskalakan.
DGrid membangun ini selangkah demi selangkah: versi yang sadar biaya yang memperhitungkan latensi dalam perhitungan pembayaran, lapisan ketahanan adversari yang bertahan ketika penilai berbohong atau malas, dan kerangka kerja yang membagi “kualitas” menjadi bagian-bagian yang dapat diperiksa. Rekayasa yang solid. Dan setiap lapisan terus-menerus menghadapi masalah yang sama.
Struktur dasar jaringan inferensi terdesentralisasi menciptakan tantangan pengukuran. Node independen menjalankan model bahasa dan menanggapi kueri pengguna. Respons tersebut perlu dinilai karena skor menentukan pembayaran. Verifikasi kriptografis setiap komputasi secara teknis sempurna tetapi sangat mahal dalam skala besar, sehingga jalur praktisnya adalah evaluasi kualitas otomatis menggunakan model yang lebih kecil.
Pekerjaan DGrid sebelumnya mengembangkan pendekatan tersebut secara bertahap, menambahkan pembayaran yang disesuaikan dengan latensi, pertahanan terhadap penilai yang manipulatif, dan perincian yang lebih detail tentang apa arti "kualitas" sebenarnya dalam konteks penilaian. Apa yang tidak dapat diselesaikan sepenuhnya adalah sinyal evaluasi itu sendiri.
Sinyal terkuat yang dimiliki tim adalah kemiripan semantik: membandingkan output model dengan jawaban benar yang diketahui dan mengukur jarak di antara keduanya dalam ruang embedding. Hal ini berfungsi di lingkungan benchmark di mana jawaban referensi ada. Ini tidak berfungsi dalam jaringan langsung di mana pengguna mengajukan pertanyaan terbuka dan tidak ada kebenaran dasar yang menunggu di database.
Alternatif siap pakai menunjukkan hasil yang lebih buruk. Sebuah cross-encoder NLI, kelas model yang dirancang untuk menilai implikasi logis antara kalimat, mengembalikan korelasi Pearson sebesar -0.363 ketika digunakan untuk menilai kualitas jawaban tanpa jawaban referensi. Korelasi negatif berarti model lebih cenderung memilih respons yang buruk daripada yang baik. Itu bukanlah alat evaluasi yang dapat digunakan.
Alih-alih mengadaptasi model yang sudah ada, para peneliti melatih tiga juri secara khusus untuk penilaian kualitas tanpa referensi. Masing-masing mengambil pertanyaan dan respons sebagai input dan menghasilkan skor dari 0 hingga 10, tanpa jawaban yang benar diberikan.
Ketiga model tersebut terutama berbeda dalam ukuran dan kecepatan:
Pelatihan mengikuti proses dua tahap. Model-model tersebut pertama-tama dilatih awal pada UltraFeedback, kumpulan data publik respons yang dinilai GPT-4, sebelum disesuaikan lebih lanjut pada distribusi tugas jaringan itu sendiri. Tujuannya adalah untuk memberikan pemahaman dasar yang luas tentang kualitas kepada para juri sebelum mempersempit fokus mereka pada konteks penilaian spesifik.
Pada set pengujian terpisah yang terdiri dari 300 contoh, juri DeBERTa mencapai korelasi Pearson sebesar 0.747 terhadap proksi kebenaran dasar — tanpa akses ke jawaban referensi apa pun. Evaluator berbasis referensi dari kerangka kerja sebelumnya, yang memang memiliki akses ke jawaban yang benar, mencapai maksimum 0.647.
Kesenjangan tersebut memiliki penjelasan yang lugas. Evaluator yang lebih lama adalah metrik kemiripan yang mengukur jarak kosinus ke embedding referensi. Juri baru dioptimalkan secara end-to-end untuk tugas penilaian itu sendiri. Perbedaan kinerja mencerminkan perbedaan tersebut lebih dari terobosan arsitektural apa pun.
Satu catatan yang disertakan oleh penulis: kebenaran dasar yang digunakan di sini itu sendiri adalah proksi — tumpang tindih kata tingkat token daripada penilaian manusia. Para juri berkorelasi baik dengan metrik ini, tetapi apakah tumpang tindih kata secara andal mencerminkan apa yang akan dianggap manusia sebagai respons berkualitas adalah pertanyaan terpisah yang belum terpecahkan.
Dua fitur berorientasi penerapan menyertai para juri. Sebuah alur pipa bertingkat mengarahkan kueri melalui model ringan terlebih dahulu dan meningkat ke model yang lebih berat hanya ketika skor ambigu, mengurangi biaya evaluasi hingga 72.7% pada pengaturan ambang batas paling agresif, meskipun korelasi turun menjadi sekitar 0.51 dalam konfigurasi tersebut. Mekanisme kalibrasi online, yang berjalan tanpa penyetelan manual, secara konsisten mengidentifikasi kualitas semantik sebagai sinyal dominan dan menyesuaikan bobotnya, memberikannya 4.7 kali bobot awalnya seiring waktu.
Para juri berkinerja tidak merata di berbagai jenis tugas. Pada menjawab pertanyaan, korelasi mencapai 0.830. Pada pembuatan ringkasan, korelasi turun menjadi 0.199. Makalah ini mengaitkan hal ini bukan pada kegagalan juri itu sendiri, tetapi pada metrik evaluasi yang digunakan selama pelatihan: tumpang tindih kata mentah adalah ukuran kualitas ringkasan yang buruk, sehingga model yang dilatih melawannya belajar melacak sinyal yang lemah. Para penulis menggambarkan ini sebagai masalah terbuka utama daripada keterbatasan yang diketahui yang dikelola secara diam-diam.
Kerangka ini konsisten dengan cara makalah ini menyajikan hasilnya secara keseluruhan — secara metodis, dengan kasus kegagalan dinyatakan sejelas peningkatannya. Empat makalah dalam alur penelitian ini, pekerjaan tersebut terdengar kurang seperti pengumuman produk dan lebih seperti tim yang secara bertahap menutup celah dalam sesuatu yang benar-benar ingin mereka terapkan.
Pengungkapan: Konten ini disediakan oleh pihak ketiga. Baik crypto.news maupun penulis artikel ini tidak mendukung produk apa pun yang disebutkan di halaman ini. Pengguna harus melakukan riset sendiri sebelum mengambil tindakan apa pun terkait perusahaan tersebut.
