DGrid AI ने एक नया प्रूफ ऑफ क्वालिटी (PoQ) फ्रेमवर्क पेश किया है, जिसे AI आउटपुट का मूल्यांकन करने और विकेंद्रीकृत नेटवर्कों में रिवॉर्ड वितरण में सुधार करने के लिए डिज़ाइन किया गया है।
विकेंद्रीकृत AI नेटवर्क में एक भुगतान समस्या है, जिस पर शोधकर्ता वर्षों से चुपचाप काम कर रहे हैं, और DGrid AI के एक हालिया पेपर ने इस मुद्दे को सीधे सामने रखा है। नोड रिवॉर्ड को शक्ति प्रदान करने वाले गुणवत्ता स्कोरिंग सिस्टम काफी हद तक तुलना के लिए सही उत्तर उपलब्ध होने पर निर्भर करते थे। वास्तविक उत्पादन में, वह उत्तर शायद ही कभी मौजूद होता है।
यह पेपर, जो प्रूफ ऑफ क्वालिटी (PoQ) पर DGrid की चल रही शोध श्रृंखला का चौथा है, एक प्रशिक्षित विकल्प का प्रस्ताव करता है और इसके पीछे के आंकड़ों को प्रकाशित करता है। PoQ प्रत्येक आउटपुट की गुणवत्ता को स्कोर करने के लिए छोटे मूल्यांकन मॉडल का उपयोग करता है, और ये स्कोर रिवॉर्ड को निर्धारित करते हैं। यह सस्ता है और बड़े पैमाने पर काम करता है।
DGrid ने इसे ईंट-दर-ईंट बनाया: एक लागत-जागरूक संस्करण जो भुगतान गणना में विलंबता को शामिल करता है, एक प्रतिकूल-दृढ़ता परत जो तब काम आती है जब स्कोरर झूठे या आलसी हो जाते हैं, और एक फ्रेमवर्क जो 'गुणवत्ता' को ऐसे हिस्सों में विभाजित करता है जिनकी आप जांच कर सकते हैं। ठोस इंजीनियरिंग। और हर परत एक ही दीवार से टकराती रही।
एक विकेंद्रीकृत अनुमान नेटवर्क की मूल संरचना एक माप चुनौती पैदा करती है। स्वतंत्र नोड्स भाषा मॉडल चलाते हैं और उपयोगकर्ता के प्रश्नों का जवाब देते हैं। उन प्रतिक्रियाओं को स्कोर करने की आवश्यकता होती है क्योंकि स्कोर भुगतान निर्धारित करते हैं। प्रत्येक गणना का क्रिप्टोग्राफिक सत्यापन तकनीकी रूप से पुख्ता होगा लेकिन बड़े पैमाने पर अत्यधिक महंगा होगा, इसलिए व्यावहारिक मार्ग छोटे मॉडल का उपयोग करके स्वचालित गुणवत्ता मूल्यांकन रहा है।
DGrid के पिछले काम ने इस दृष्टिकोण को धीरे-धीरे विकसित किया, जिसमें विलंबता-समायोजित भुगतान, जोड़ तोड़ स्कोरर के खिलाफ बचाव, और स्कोरिंग संदर्भ में "गुणवत्ता" का वास्तव में क्या अर्थ है, इसका अधिक विस्तृत विश्लेषण शामिल था। जो यह पूरी तरह से हल नहीं कर सका, वह स्वयं मूल्यांकन संकेत था।
टीम के पास सबसे मजबूत संकेत शब्दार्थ समानता (semantic similarity) थी: मॉडल के आउटपुट की एक ज्ञात सही उत्तर से तुलना करना और एम्बेडिंग स्पेस में उनके बीच की दूरी को मापना। यह बेंचमार्क वातावरण में काम करता है जहाँ संदर्भ उत्तर मौजूद होते हैं। यह एक लाइव नेटवर्क में काम नहीं करता है जहाँ उपयोगकर्ता खुले-छोर वाले प्रश्न पूछ रहे होते हैं और डेटाबेस में कोई ग्राउंड ट्रुथ (ground truth) उपलब्ध नहीं होता।
ऑफ-द-शेल्फ विकल्पों का परीक्षण करने पर वे खराब निकले। एक NLI क्रॉस-एन्कोडर, जो वाक्यों के बीच तार्किक निहितार्थ का आकलन करने के लिए डिज़ाइन किया गया एक मॉडल वर्ग है, ने संदर्भ उत्तर के बिना उत्तर की गुणवत्ता को रेट करने के लिए उपयोग किए जाने पर -0.363 का पियर्सन सहसंबंध (Pearson correlation) लौटाया। एक नकारात्मक सहसंबंध का मतलब है कि मॉडल अच्छी प्रतिक्रियाओं की तुलना में खराब प्रतिक्रियाओं का अधिक पक्षधर था। यह एक उपयोगी मूल्यांकन उपकरण नहीं है।
मौजूदा मॉडलों को अनुकूलित करने के बजाय, शोधकर्ताओं ने विशेष रूप से संदर्भ-मुक्त गुणवत्ता स्कोरिंग के लिए तीन जजों को प्रशिक्षित किया। प्रत्येक इनपुट के रूप में एक प्रश्न और एक प्रतिक्रिया लेता है और 0 से 10 तक का स्कोर आउटपुट करता है, जिसमें कोई सही उत्तर प्रदान नहीं किया जाता है।
तीनों मॉडल मुख्य रूप से आकार और गति में भिन्न हैं:
प्रशिक्षण एक दो-चरणीय प्रक्रिया का पालन करता था। मॉडलों को पहले UltraFeedback पर प्री-ट्रेन किया गया था, जो GPT-4-रेटेड प्रतिक्रियाओं का एक सार्वजनिक डेटासेट है, फिर नेटवर्क के अपने कार्य वितरण पर फाइन-ट्यून किया गया। इसका उद्देश्य जजों को गुणवत्ता की एक व्यापक आधारभूत समझ देना था, इससे पहले कि वे अपने ध्यान को विशिष्ट स्कोरिंग संदर्भ पर केंद्रित करें।
300 उदाहरणों के एक आरक्षित टेस्ट सेट पर, DeBERTa जज ने ग्राउंड-ट्रुथ प्रॉक्सी के मुकाबले 0.747 का पियर्सन सहसंबंध प्राप्त किया – बिना किसी संदर्भ उत्तर तक पहुंच के। पिछले फ्रेमवर्क के संदर्भ-आधारित मूल्यांकनकर्ता, जिनके पास सही उत्तरों तक पहुंच थी, अधिकतम 0.647 तक पहुंचे।
इस अंतर का एक सीधा स्पष्टीकरण है। पुराने मूल्यांकनकर्ता समानता मेट्रिक्स थे जो संदर्भ एम्बेडिंग के लिए कोसाइन दूरी को मापते थे। नए जजों को स्वयं स्कोरिंग कार्य के लिए एंड-टू-एंड अनुकूलित किया गया था। प्रदर्शन में यह अंतर किसी भी वास्तुशिल्प सफलता की तुलना में उस विशिष्टता को अधिक दर्शाता है।
लेखकों द्वारा शामिल एक चेतावनी: यहां उपयोग किया गया ग्राउंड ट्रुथ स्वयं एक प्रॉक्सी है — मानव निर्णय के बजाय टोकन-स्तर का शब्द अतिव्यापीकरण। जज इस मीट्रिक के साथ अच्छी तरह से सहसंबंधित होते हैं, लेकिन क्या शब्द अतिव्यापीकरण विश्वसनीय रूप से यह दर्शाता है कि मानव किस प्रतिक्रिया को गुणवत्तापूर्ण मानेगा, यह एक अलग, अनसुलझा प्रश्न है।
जजों के साथ दो परिनियोजन-उन्मुख (deployment-oriented) सुविधाएँ आती हैं। एक कैस्केडिंग पाइपलाइन पहले हल्की मॉडल के माध्यम से प्रश्नों को रूट करती है और केवल तभी भारी मॉडलों तक बढ़ाती है जब स्कोर अस्पष्ट होते हैं, सबसे आक्रामक थ्रेशोल्ड सेटिंग पर मूल्यांकन लागत को 72.7% तक कम करती है, हालांकि उस कॉन्फ़िगरेशन में सहसंबंध लगभग 0.51 तक गिर जाता है। एक ऑनलाइन कैलिब्रेशन तंत्र, बिना मैन्युअल ट्यूनिंग के चल रहा है, लगातार शब्दार्थ गुणवत्ता (semantic quality) को प्रमुख संकेत के रूप में पहचानता है और तदनुसार भार को समायोजित करता है, समय के साथ इसे अपने शुरुआती भार का 4.7 गुना आवंटित करता है।
जज विभिन्न कार्य प्रकारों में असमान रूप से प्रदर्शन करते हैं। प्रश्नोत्तर (question answering) में, सहसंबंध 0.830 तक पहुंच जाता है। सारांश (summarization) में, यह 0.199 तक गिर जाता है। पेपर इसका श्रेय स्वयं जजों की विफलता को नहीं, बल्कि प्रशिक्षण के दौरान उपयोग किए गए मूल्यांकन मीट्रिक को देता है: कच्चे शब्द का अतिव्यापीकरण (raw word overlap) सारांश गुणवत्ता का एक खराब माप है, इसलिए इसके खिलाफ प्रशिक्षित मॉडल एक कमजोर संकेत को ट्रैक करना सीखते हैं। लेखक इसे प्राथमिक खुली समस्या बताते हैं, न कि एक ज्ञात सीमा जिसे चुपचाप प्रबंधित किया जा रहा है।
यह रूपरेखा इस बात के अनुरूप है कि पेपर अपने परिणामों को समग्र रूप से कैसे प्रस्तुत करता है — व्यवस्थित रूप से, सुधारों के साथ-साथ विफलता के मामलों को भी स्पष्ट रूप से बताया गया है। इस शोध श्रृंखला में चार पेपरों के बाद, यह काम किसी उत्पाद घोषणा से कम और एक ऐसी टीम की तरह अधिक लगता है जो किसी ऐसी चीज़ में धीरे-धीरे अंतराल भर रही है जिसे वे वास्तव में तैनात (deploy) करना चाहते हैं।
खुलासा: यह सामग्री किसी तीसरे पक्ष द्वारा प्रदान की गई है। न तो crypto.news और न ही इस लेख के लेखक इस पृष्ठ पर उल्लिखित किसी भी उत्पाद का समर्थन करते हैं। उपयोगकर्ताओं को कंपनी से संबंधित कोई भी कार्रवाई करने से पहले अपना स्वयं का शोध करना चाहिए।
