DGrid AI представляє нову структуру Доказу якості (Proof of Quality), розроблену для оцінки результатів ШІ та покращення розподілу винагород у децентралізованих мережах.
Децентралізовані мережі ШІ мають проблему з оплатою, яку дослідники тихо обходили роками, і нещодавня стаття від DGrid AI прямо виносить це питання на обговорення. Системи оцінки якості, що забезпечують винагороди для вузлів, значною мірою залежали від наявності правильної відповіді для порівняння. У робочому середовищі така відповідь рідко існує.
Стаття, четверта у поточній дослідницькій серії DGrid з Доказу якості (PoQ), пропонує навчену альтернативу та публікує її числові дані. PoQ використовує невеликі моделі-оцінювачі для визначення якості кожного вихідного результату, і ці оцінки визначають винагороди. Дешево, і масштабується.
DGrid будував це цеглинка за цеглинкою: версію, чутливу до витрат, яка враховує затримки в математиці виплат, шар стійкості до атак, який витримує, коли оцінювачі стають брехунами або лінивими, і фреймворк, який розділяє «якість» на частини, які можна перевіряти. Солідна інженерія. І кожен шар постійно наштовхувався на одну й ту саму стіну.
Базова структура децентралізованої мережі висновків створює виклик у вимірюванні. Незалежні вузли запускають мовні моделі та відповідають на запити користувачів. Ці відповіді потрібно оцінювати, оскільки оцінки визначають оплату. Криптографічна верифікація кожного обчислення була б технічно бездоганною, але надмірно дорогою у масштабі, тому практичний шлях полягав у автоматизованій оцінці якості за допомогою менших моделей.
Попередня робота DGrid розвивала цей підхід поступово, додаючи виплати, скориговані на затримку, захист від маніпулятивних оцінювачів та більш деталізований розбір того, що означає «якість» у контексті оцінювання. Чого вона не змогла повністю вирішити, так це сам сигнал оцінки.
Найсильнішим сигналом, який мала команда, була семантична схожість: порівняння вихідних даних моделі з відомою правильною відповіддю та вимірювання відстані між ними в просторі вбудовування. Це працює в еталонних середовищах, де існують еталонні відповіді. Це не працює в живій мережі, де користувачі задають відкриті запитання, і в базі даних не чекають еталонні дані.
Готові альтернативи показали гірші результати. Крос-кодер NLI, клас моделей, призначений для оцінки логічної імплікації між реченнями, показав кореляцію Пірсона −0.363 при використанні для оцінки якості відповіді без еталонної відповіді. Негативна кореляція означає, що модель частіше віддавала перевагу поганим відповідям, ніж хорошим. Це непридатний інструмент оцінювання.
Замість адаптації існуючих моделей, дослідники навчили трьох суддів спеціально для безреферентного оцінювання якості. Кожен приймає питання та відповідь як вхідні дані та виводить оцінку від 0 до 10, без надання правильної відповіді.
Три моделі відрізняються насамперед розміром та швидкістю:
Навчання проходило у два етапи. Моделі спочатку були попередньо навчені на UltraFeedback, публічному наборі даних відповідей, оцінених GPT-4, а потім доналаштовані на власному розподілі завдань мережі. Метою було надати суддям широке базове розуміння якості, перш ніж звузити їхню увагу до конкретного контексту оцінювання.
На відкладеному тестовому наборі з 300 прикладів суддя DeBERTa досяг кореляції Пірсона 0.747 з проксі-еталоном — без доступу до будь-якої еталонної відповіді. Референційні оцінювачі з попереднього фреймворку, які мали доступ до правильних відповідей, досягли максимум 0.647.
Розрив має просте пояснення. Старіші оцінювачі були метриками схожості, що вимірювали косинусну відстань до еталонного вбудовування. Нові судді були оптимізовані від початку до кінця для самого завдання оцінювання. Різниця в продуктивності відображає цю відмінність більше, ніж будь-який архітектурний прорив.
Одне застереження, яке включають автори: використаний тут еталон є сам по собі проксі — перекриття слів на рівні токенів, а не людське судження. Судді добре корелюють з цією метрикою, але чи надійно перекриття слів відображає те, що людина вважала б якісною відповіддю, є окремим, невирішеним питанням.
Дві орієнтовані на розгортання функції супроводжують суддів. Каскадний конвеєр спочатку маршрутизує запити через легковажну модель і переводить їх до важчих моделей лише тоді, коли оцінки неоднозначні, зменшуючи витрати на оцінювання до 72,7% при найагресивнішому налаштуванні порогу, хоча кореляція падає приблизно до 0,51 у цій конфігурації. Механізм онлайн-калібрування, що працює без ручного налаштування, послідовно ідентифікує семантичну якість як домінуючий сигнал і відповідним чином коригує ваги, присвоюючи їй у 4,7 рази більшу початкову вагу з часом.
Судді працюють нерівномірно для різних типів завдань. При відповіданні на питання кореляція досягає 0.830. При узагальненні вона падає до 0.199. Стаття пояснює це не неспроможністю самих суддів, а метрикою оцінки, використаною під час навчання: необроблене перекриття слів є поганим показником якості узагальнення, тому моделі, навчені за цим показником, вчаться відстежувати слабкий сигнал. Автори описують це як основну відкриту проблему, а не відоме обмеження, яке тихо вирішується.
Така інтерпретація узгоджується з тим, як стаття загалом представляє свої результати — методично, з чітко викладеними випадками невдач, як і покращень. Чотири статті в цьому напрямку досліджень читаються менше як анонс продукту, а більше як робота команди, яка поступово заповнює прогалини в тому, що вони мають намір насправді розгорнути.
Розкриття інформації: Цей контент надається третьою стороною. Ні crypto.news, ні автор цієї статті не підтримують жодного продукту, згаданого на цій сторінці. Користувачі повинні провести власне дослідження, перш ніж вживати будь-яких дій, пов'язаних з компанією.
