لطالما كانت الفكرة الأساسية للمساعدين الشخصيين المزودين بالذكاء الاصطناعي واحدة: امنح الوكيل وصولاً إلى حياتك الرقمية وسيتولى هو الباقي. رسائل البريد الإلكتروني الخاصة بك، تقويمك، ملاحظاتك، أجهزتك – كل ذلك. ذكائك الاصطناعي يعرف. ذكائك الاصطناعي يتصرف. وأنت تنام.
قام باحثون من شركة هواوي تكنولوجيز، ومعهد بكين للتكنولوجيا، وجامعة بكين، والأكاديمية الصينية للعلوم ببناء معيار لمعرفة ما إذا كان هذا صحيحًا بالفعل. مفاجأة: إنه ليس كذلك.
يقوم Claw-Anything بتقييم وكلاء الذكاء الاصطناعي عبر ثلاثة أبعاد في آن واحد: تدفقات الأحداث طويلة الأمد التي تغطي أكثر من ثلاثة أشهر من نشاط المستخدم المحاكى، وخدمات الواجهة الخلفية المترابطة بمتوسط 10.1 لكل مهمة، والتفاعل متعدد الأجهزة عبر بيئات سطر الأوامر (CLI) لينكس وبيئات واجهة المستخدم الرسومية (GUI) أندرويد.
يبلغ متوسط نافذة السياق لكل مهمة 191,700 كلمة. بينما تتراوح معظم المعايير الحالية بين 1,700 و 12,000 كلمة. هذه ليست فجوة صغيرة بل مشكلة مختلفة تمامًا. وهذا أيضًا ما تشعر به الحياة الواقعية، على عكس المعايير الموحدة شديدة التحديد.
ذكاؤك الاصطناعي ليس لديه فكرة عما يحدث
يتم تقييم المعيار بناءً على مقياس pass@1 - وهي احتمالية أن يكمل الوكيل المهمة بنجاح من المحاولة الأولى، دون إعادة. قد تطلب مهمة من الوكيل مقارنة تنبيه سعر لمنتج عثر عليه قبل أسابيع، والتحقق من تقويم المستخدم لموعد ذي صلة، والتصرف بناءً على كليهما من الهاتف. قد تطلب مهمة أخرى منه سحب عمل حديث من الملاحظات وسلاسل البريد الإلكتروني و Slack، ثم إنتاج عرض تقديمي من الصفر.
هذه هي الأشياء التي يطلبها الناس بالفعل من المساعدين القيام بها. وتبين أن الذكاء الاصطناعي ليس جيدًا جدًا فيها. GPT-5.5، وفقًا لتغطية Decrypt السابقة، هو أفضل نموذج لـ OpenAI، وقد بُني مع الأخذ في الاعتبار المهام ذات الأفق الزمني الطويل والوكالية. وقد حقق 34.5%.
"النماذج الحالية تظل غير موثوقة حتى عندما تُمنح وصولاً أوسع إلى العالم الرقمي للمستخدم،" تنص ورقة بحث Claw-Anything. العديد من النماذج التي تبدو مثيرة للإعجاب في المعايير الأخرى تراجعت أكثر.
يقوم المعيار أيضًا بتقييم المساعدة الاستباقية بشكل منفصل، مما يعني الحالات التي يكتشف فيها الوكيل حاجة ويتصرف دون أن يُطلب منه ذلك. لا تختبر معظم المعايير هذا. لكن Claw-Anything يفعل، والفجوة واضحة: حقق الوكلاء 25.9% في المهام التفاعلية و 6.7% فقط في المهام الاستباقية.
لماذا لا تخبرك معظم المعايير بهذا
يقدم الباحثون حجة واضحة: تتعامل المعايير الحالية مع وكلاء الذكاء الاصطناعي كحلول للمهام توضع على مكتب نظيف. بينما يتعامل Claw-Anything معهم كمساعدين شخصيين أُلقوا في حياة فوضوية حقيقية – أحداث غير ذات صلة، إشارات متضاربة، شهور من الضوضاء المتراكمة. يجب على الوكيل أن يحدد ما هو ذو صلة قبل أن يتمكن من فعل أي شيء مفيد.
توضح نتائج الإزالة (ablation) الاعتمادية المتعددة الخدمات بشكل خاص. عندما أُزيلت الأدوات اللازمة للمهام عبر الخدمات، انخفضت معدلات النجاح إلى ما يقرب من الصفر، لأن معظم المهام تتطلب من الوكلاء استرداد المعلومات والتصرف عبر عدة واجهات خلفية بدلاً من واجهة واحدة فقط.
هذا ليس نوعًا جديدًا من المشكلات في تقييم الذكاء الاصطناعي. أعلنت OpenAI أن معيار SWE-bench ملوث في وقت سابق من هذا العام بعد أن انهارت الدرجات من حوالي 70% إلى 23% في إصدار أقل عرضة للتسرب. كان ذلك يتعلق بنظافة البيانات. هذا يتعلق بشيء أكثر جوهرية – ما إذا كانت المعايير تطرح السؤال الصحيح في المقام الأول.
على الجانب الإيجابي، أصدر الفريق خط الأنابيب الذي أنتج المعيار بالإضافة إلى 2000 بيئة تدريب. أدى الضبط الدقيق لنموذج Qwen3.5-27B على 1500 مسار وكيل ناجح إلى تحسين مقياس pass@1 بنسبة 23.7% – وهو ما يكفي للتغلب على عدة نماذج مغلقة المصدر في لوحة المتصدرين، بما في ذلك Claude Sonnet.
يحدد الباحثون التنسيق عبر الخدمات باعتباره التحدي الرئيسي المتبقي للمجال في هذا المعيار. مجموعة البيانات متوفرة على Hugging Face والرمز البرمجي على GitHub.
