اسأل خمسة من أنظمة الذكاء الاصطناعي الأكثر تقدمًا في العالم عما إذا كانت العبارة صحيحة، وفي ثلثي الوقت، سيقدم لك واحد على الأقل إجابة مختلفة. هذا ما توصلت إليه دراسة جديدة نشرها هذا الشهر الباحث كوستا جوردانوف في Lenz Research.
منحت الدراسة GPT-5.4 وClaude Opus 4.7 وGemini 3 Pro وGemini 3 Pro مع البحث وSonar Pro نفس الـ 1000 ادعاء حقيقي لتدقيق الحقائق، التي قدمها مستخدمون فعليون. كان على النماذج اختيار واحدة من أربع تسميات: صحيحة، صحيحة غالبًا، مضللة، أو خاطئة.
من أصل 1000 ادعاء، اختلفت النماذج في 672 منها، حيث خالف نموذج واحد على الأقل رأي الأغلبية. وفي 34% من الحالات، كان الخلاف شديدًا: فقد وصف أحد النماذج ادعاءً بأنه صحيح بينما وصفه آخر بأنه خاطئ.
“هذه ليست بنود قياسية ذات مفاتيح إجابة عامة - بل هي ادعاءات قدمها مستخدمون حقيقيون للتحقق منها عبر منصة لتدقيق الحقائق،" حسبما جاء في الدراسة. "يمكن أن تكون سلة حكم واحدة فقط صحيحة لكل ادعاء، لذا فإن أي خلاف بين اللجنة يعني أن حكم نموذج واحد على الأقل غير متسق مع التصنيف ضمن هذا التصنيف المكون من 4 فئات."
أظهرت دراسات سابقة حول هلوسة الذكاء الاصطناعي أن روبوتات الدردشة تختلق الحقائق. هذه مشكلة واحدة. وهذه مشكلة مختلفة. النماذج لا تختلق الأمور بالضرورة، بل إنها لا تستطيع الاتفاق على أحكام واقعية أساسية حول نفس المادة.
استخدم البحث إعدادًا يجعل من الصعب على شركات الذكاء الاصطناعي تبرير النتائج. فبدلاً من سحب الادعاءات من مجموعات الاختبار القياسية – التي غالبًا ما تتسرب إلى بيانات التدريب – استخدم الباحثون ادعاءات قدمها أشخاص حقيقيون لمنصة Lenz لتدقيق الحقائق. "من غير المرجح أن تظهر معظم هذه الادعاءات في أي مجموعة بيانات تدريبية تحمل تسمية ذهبية – لا يوجد مفتاح إجابة نموذجي للمطابقة، ولا لوحة صدارة معيارية للاستناد إليها،" تشير الورقة.
جاء المقياس الإحصائي للاتفاق، المسمى ألفا لكريبندورف (Krippendorff’s alpha)، عند 0.639 على مقياس يعني فيه 1.0 اتفاقًا تامًا و0 يعني فرصة عشوائية. وتقول الدراسة إن هذا يشير إلى "اتفاق غير بسيط ولكنه محدود". ويلاحظ الباحثون أن "أحكام النماذج منظمة وليست عشوائية، ولكنها ليست متسقة بما يكفي لمعاملة اللجنة كقاضٍ واحد قابل للتبادل". ويعتبر الباحثون عمومًا أي شيء أقل من 0.8 ضعيفًا.
عندما اتفقت النماذج الخمسة جميعها – وهو ما حدث في 328 ادعاء فقط من أصل 1000 – فإنها لم تتفق أبدًا تقريبًا على أن شيئًا ما كان مضللاً أو صحيحًا غالبًا. أربعة ادعاءات فقط تلقت حكمًا بالإجماع على أنها "مضللة". ولم يتلق أي ادعاء حكمًا بالإجماع على أنه "صحيح غالبًا".
قدم الباحثون أمثلة لادعاءات أظهرت فيها نماذج الذكاء الاصطناعي أكبر قدر من الاختلاف، بما في ذلك "محفظة البنك الدولي النشطة في نيجيريا تبلغ أكثر من 16.4 مليار دولار اعتبارًا من عام 2025." قال ChatGPT 5.4 إنها "صحيحة غالبًا" بينما وصفها Gemini 3 Pro بأنها "خاطئة" وصنّف نموذجها الشقيق Gemini 3 Pro + Search أنها "مضللة".
في مثال آخر، تم تزويد النماذج بالادعاء: "قال دونالد ترامب إن هجومًا على إيران تم تأجيله بناءً على طلب حلفاء الخليج." قال GPT-5.4 إنه خاطئ، وصفه Claude Opus 4.7 بأنه صحيح غالبًا، قال Gemini 3 Pro إنه خاطئ، وصنّفه Gemini 3 Pro + Search على أنه صحيح.
وجد الباحثون أن "اللجنة تتوصل إلى أحكام نهائية؛ أما منتصف التصنيف فهو حيث يحدث التصدع". ولم يحدث الإجماع إلا في الحالات القصوى: إما أن الادعاء كان صحيحًا تمامًا أو خاطئًا تمامًا.
هذا مهم لأن الناس يتجهون بشكل متزايد إلى أنظمة الذكاء الاصطناعي لتدقيق الحقائق. إذا قمت بلصق ادعاء من مقال إخباري في ChatGPT أو Claude أو Gemini، فقد تحصل على ثلاث إجابات مختلفة. أي منها تثق به؟
تحب شركات الذكاء الاصطناعي أن تخبرك أن نماذجها تزداد دقة. وهي تنشر نتائج معيارية تظهر تحسنًا مطردًا. لكن دراسة Lenz اختبرت هذه النماذج على أنواع الادعاءات المتضاربة والغامضة التي يختلف البشر الحقيقيون حولها – ووجدت أن النماذج تختلف أيضًا.
الورقة حريصة على الإشارة إلى ذلك. "أغلبية النماذج الرائدة ليست هي الحقيقة المطلقة. وقد يكون حكم الأغلبية خاطئًا أحيانًا؛ وقد يكون النموذج المنفرد المعارض صحيحًا أحيانًا. نحن نستخدم الأغلبية كنقطة مرجعية هيكلية لقياس الاختلاف، وليس كبديل للصحة."
هناك مشكلة أعمق مدفونة في الأرقام. عندما تختلف النماذج، يجب أن يكون أحدها على الأقل مخطئًا – فالدراسة تصف حكم النموذج بأنه "غير متسق مع التصنيف ضمن هذه الفئات الأربع". لا توجد آلية لكسر التعادل، ولا محكمة استئناف. وقد أثارت التقارير الأخيرة حول موثوقية الذكاء الاصطناعي مخاوف مماثلة.
من بين 328 ادعاءً اتفقت عليها جميع النماذج الخمسة، لم يحصل أي منها على إجماع "صحيح غالبًا". فقد فرغت فئة الدقة بالكامل. إذا كانت نماذج الذكاء الاصطناعي لا تستطيع التوصل إلى توافق إلا في الحالات القصوى، فهل يمكن الوثوق بها كمدققي حقائق على الإطلاق؟
