تقدم DGrid AI إطار عمل جديد لإثبات الجودة مصمم لتقييم مخرجات الذكاء الاصطناعي وتحسين توزيع المكافآت عبر الشبكات اللامركزية.
تعاني شبكات الذكاء الاصطناعي اللامركزية من مشكلة في الدفع عمل الباحثون بصمت على حلها لسنوات، وتضع ورقة بحثية حديثة من DGrid AI هذه المشكلة مباشرة على الطاولة. لقد اعتمدت أنظمة تسجيل الجودة التي تدعم مكافآت العقد بشكل كبير على وجود الإجابة الصحيحة في متناول اليد للمقارنة بها. في بيئة الإنتاج، نادرًا ما توجد هذه الإجابة.
تقترح الورقة، وهي الرابعة في سلسلة أبحاث DGrid المستمرة حول إثبات الجودة (PoQ)، بديلاً مُدربًا وتنشر الأرقام التي تدعمه. يستخدم إثبات الجودة (PoQ) نماذج تقييم صغيرة لتسجيل جودة كل مخرج، وتدفع هذه النتائج المكافآت. إنه رخيص وقابل للتوسع.
قامت DGrid ببناء هذا الإطار خطوة بخطوة: نسخة تراعي التكلفة تدمج زمن الاستجابة في حسابات الدفع، وطبقة مقاومة للهجمات تحافظ على فعاليتها عندما يتحول المقيمون إلى كاذبين أو كسالى، وإطار عمل يقسم “الجودة” إلى أجزاء يمكنك فحصها. هندسة متينة. وكل طبقة كانت تصطدم بنفس الجدار.
يخلق الهيكل الأساسي لشبكة استدلال لامركزية تحديًا في القياس. تقوم العقد المستقلة بتشغيل نماذج اللغة والاستجابة لاستفسارات المستخدمين. تحتاج هذه الاستجابات إلى التقييم لأن الدرجات تحدد الدفع. سيكون التحقق المشفر لكل عملية حسابية محكمًا من الناحية الفنية ولكنه مكلف للغاية على نطاق واسع، لذا فإن المسار العملي كان تقييم الجودة الآلي باستخدام نماذج أصغر.
عمل DGrid السابق قام بتطوير هذا النهج تدريجيًا، مضيفًا دفعات معدلة حسب زمن الاستجابة، ودفاعات ضد المقيمين المتلاعبين، وتحليلاً أكثر تفصيلاً لما تعنيه “الجودة” بالفعل في سياق التقييم. ما لم يتمكن من حله بالكامل هو إشارة التقييم نفسها.
كانت أقوى إشارة لدى الفريق هي التشابه الدلالي: مقارنة مخرج النموذج بإجابة صحيحة معروفة وقياس المسافة بينهما في مساحة التضمين. هذا يعمل في بيئات الاختبار المعيارية حيث توجد إجابات مرجعية. لكنه لا يعمل في شبكة حية حيث يطرح المستخدمون أسئلة مفتوحة ولا توجد حقيقة أساسية تنتظر في قاعدة بيانات.
البدائل الجاهزة أظهرت أداءً أسوأ في الاختبارات. فمثلاً، أرجع مشفر NLI المتقاطع، وهو فئة نماذج مصممة لتقييم الاستلزام المنطقي بين الجمل، معامل ارتباط بيرسون قدره −0.363 عند استخدامه لتقييم جودة الإجابة دون إجابة مرجعية. يشير الارتباط السلبي إلى أن النموذج كان يميل أكثر إلى تفضيل الاستجابات الضعيفة على الجيدة. هذا ليس أداة تقييم قابلة للاستخدام.
بدلاً من تكييف النماذج الحالية، قام الباحثون بتدريب ثلاثة محكمين خصيصًا لتسجيل الجودة بدون مرجع. يأخذ كل منهم سؤالاً واستجابة كمدخل ويخرج درجة من 0 إلى 10، دون تقديم إجابة صحيحة.
تختلف النماذج الثلاثة بشكل أساسي في الحجم والسرعة:
تبع التدريب عملية من مرحلتين. تم تدريب النماذج مسبقًا على UltraFeedback، وهي مجموعة بيانات عامة لاستجابات تم تقييمها بواسطة GPT-4، قبل الضبط الدقيق على توزيع مهام الشبكة نفسها. كان الهدف هو تزويد المحكمين بفهم أساسي واسع للجودة قبل تضييق نطاق تركيزهم على سياق التسجيل المحدد.
على مجموعة اختبار معلقة تضم 300 مثال، حقق محكم DeBERTa معامل ارتباط بيرسون قدره 0.747 مقابل بديل الحقيقة الأساسية — دون الوصول إلى أي إجابة مرجعية. بينما وصل المقيمون المستندون إلى المراجع من الإطار السابق، الذين كان لديهم وصول إلى الإجابات الصحيحة، إلى حد أقصى قدره 0.647.
للفجوة تفسير مباشر. كان المقيمون الأقدم عبارة عن مقاييس تشابه تقيس مسافة جيب التمام لتضمين مرجعي. تم تحسين المحكمين الجدد بشكل شامل لمهمة التسجيل نفسها. يعكس اختلاف الأداء هذا التمييز أكثر من أي اختراق معماري.
أحد التحذيرات التي يوردها المؤلفون: الحقيقة الأساسية المستخدمة هنا هي بحد ذاتها بديل — تداخل الكلمات على مستوى التوكن بدلاً من الحكم البشري. يرتبط المحكمون جيدًا بهذا المقياس، ولكن ما إذا كان تداخل الكلمات يعكس بشكل موثوق ما يعتبره الإنسان استجابة جيدة هو سؤال منفصل لم يتم حله بعد.
ترافق المحكمين ميزتان موجهتان للنشر. يقوم خط أنابيب متسلسل بتوجيه الاستفسارات عبر النموذج الخفيف أولاً ويصعد إلى نماذج أثقل فقط عندما تكون الدرجات غامضة، مما يقلل تكاليف التقييم بنسبة تصل إلى 72.7% عند الإعداد الأكثر صرامة للعتبة، على الرغم من أن الارتباط ينخفض إلى حوالي 0.51 في هذا التكوين. تحدد آلية معايرة عبر الإنترنت، تعمل بدون ضبط يدوي، الجودة الدلالية باستمرار كإشارة مهيمنة وتعدل الأوزان وفقًا لذلك، وتخصص لها 4.7 أضعاف وزنها الأولي بمرور الوقت.
يؤدي المحكمون أداءً متفاوتًا عبر أنواع المهام. في الإجابة على الأسئلة، يصل الارتباط إلى 0.830. أما في التلخيص، فينخفض إلى 0.199. تعزو الورقة هذا ليس إلى فشل في المحكمين أنفسهم بل إلى مقياس التقييم المستخدم أثناء التدريب: تداخل الكلمات الخام هو مقياس ضعيف لجودة التلخيص، لذا فإن النماذج المدربة عليه تتعلم تتبع إشارة ضعيفة. يصف المؤلفون هذا بأنه المشكلة المفتوحة الرئيسية بدلاً من كونه قيدًا معروفًا يتم التعامل معه بصمت.
يتوافق هذا التأطير مع كيفية تقديم الورقة لنتائجها بشكل عام — بمنهجية، مع ذكر حالات الفشل بوضوح تمامًا مثل التحسينات. بعد أربع أوراق في هذا المسار البحثي، يبدو العمل أقل كإعلان عن منتج وأكثر كفريق يسد الفجوات تدريجيًا في شيء ينوون نشره فعليًا.
إفصاح: يتم توفير هذا المحتوى من قبل طرف ثالث. لا تؤيد crypto.news ولا مؤلف هذه المقالة أي منتج مذكور في هذه الصفحة. يجب على المستخدمين إجراء أبحاثهم الخاصة قبل اتخاذ أي إجراء يتعلق بالشركة.
