معظم الناس يعرفون شاومي كعلامة تجارية صينية للهواتف. تلك التي تصنع الدراجات البخارية الكهربائية الرخيصة وأجهزة تنقية الهواء. ليس تمامًا الشركة التي تتوقع أن تحطم رقمًا قياسيًا كبيرًا في سرعة استدلال الذكاء الاصطناعي صباح يوم الاثنين.
ومع ذلك. أصدرت شاومي للتو MiMo-V2.5-Pro-UltraSpeed، وهو وضع خدمة لنموذجها الرائد الذي يضم تريليون معامل، والذي يصل إلى أكثر من 1000 رمز في الثانية—وبلغ ذروته بالقرب من 1200 في العروض التوضيحية.
المعاملات هي الأوزان العددية الداخلية التي تحدد كيفية تفكير النموذج—كلما زاد عددها، زادت تعقيد الأنماط التي يمكن أن يتعرف عليها. الرموز هي أجزاء من النص يقرأها ويكتبها النموذج، وتشكل حوالي ثلاثة أرباع كلمة في المتوسط.
لقد قامت شاومي بذلك على عقدة تجارية واحدة بـ 8 وحدات معالجة رسومية (GPU). أجهزة قياسية، لا توجد رقائق مخصصة. هذا يغير الحسابات حول من يمكنه فعاليًا نشر هذا النوع من السرعة في الإنتاج.
لوضع هذا الرقم في سياق مفهوم للبشر: وفقًا لتحليلات Artificial Analysis، فإن GPT-5.5—الذي يتحدث إليه معظم مستخدمي ChatGPT بالفعل—يصل إلى 68 رمزًا في الثانية. أما Claude Opus 4.6 فيصل إلى حوالي 71، والنموذج الأقل تكلفة، Haiku، يلامس 98 رمزًا في الثانية. Gemini Flash يحقق 192 رمزًا في الثانية. بينما يحقق MiMo-V2.5-Pro-UltraSpeed عدد 1000 رمز في الثانية، على نموذج يضاهي Opus في معايير البرمجة.
أسست شركتا Cerebras وGroq أعمالًا كاملة حول هذه المشكلة. صممت Cerebras شريحة بحجم رقاقة كبيرة بحجم طبق العشاء، تحوي 44 جيجابايت من الذاكرة المدمجة للقضاء على عنق الزجاجة في عرض النطاق الترددي الذي يبطئ استدلال وحدات معالجة الرسوميات. لقد حققت 969 رمزًا في الثانية على نموذج Meta Llama 3.1 405B—وهو أمر مثير للإعجاب، لكن هذا نموذج يضم 405 مليار معامل، أي أقل من نصف حجم MiMo-V2.5-Pro. وتصل معمارية وحدة معالجة اللغة المخصصة من Groq إلى حوالي 300-750 رمزًا في الثانية اعتمادًا على النموذج.
لا يعمل أي منهما على أجهزة يمكنك استئجارها من AWS هذه الليلة.
حققت شاومي ذلك على وحدات معالجة رسوميات تجارية من خلال البرمجيات وحدها—مزيج من الحيل على مستوى النموذج ومحرك استدلال مصمم خصيصًا يسمى TileRT.
تقنيتان تحققان هذه السرعة. التقنية الأولى تسمى FP4 Quantization (تكميم FP4): بدلاً من تشغيل النموذج بدقة عددية كاملة 8 بت أو 16 بت، تقوم شاومي بتقليص الطبقات المتخصصة—التي تشكل معظم التريليون معامل—إلى 4 بت. ينخفض حجم الذاكرة المستخدمة، وينخفض ضغط عرض النطاق الترددي، وتزداد السرعة. العيب عادة ما يكون تدهورًا طفيفًا في الجودة. إصلاح شاومي دقيق: يتم ضغط الطبقات المتخصصة فقط، بينما يبقى كل شيء آخر بدقة كاملة. بهذا النهج، يوصف فقدان الجودة بأنه شبه معدوم.
الثانية هي فك التشفير التخميني DFlash. فك التشفير التخميني العادي يتضمن نموذجًا مسودة صغيرًا يخمن الرموز القليلة التالية، ثم يتحقق النموذج الكبير منها بالتوازي. تتخطى DFlash المسودة التسلسلية بالكامل—فهي تملأ كتلة كاملة من المواضع المقنعة في تمريرة أمامية واحدة. في مهام البرمجة، يقبل النموذج الكبير متوسط 6.3 من أصل 8 رموز مقترحة لكل جولة تحقق. هذا يعني ستة رموز مؤكدة في خطوة واحدة بدلاً من رمز واحد.
يربط TileRT كل ذلك معًا. فهو يحافظ على خط أنابيب الحوسبة بأكمله مقيمًا بشكل مستمر داخل وحدة معالجة الرسوميات (GPU)—لا توجد تكلفة إضافية لتشغيل كل عملية، ولا فجوات في التنفيذ.
تطلق شاومي على هذا النهج اسم "التصميم المشترك الشديد للنموذج والنظام"، والعبارة دقيقة: لا تحقق أي تقنية وحدها 1000 رمز في الثانية، ولكن التآزر بين جميع الأساليب يفعل ذلك.
MiMo-V2.5-Pro هو نموذج على مستوى متقدم. لقد قمنا بتغطية إطلاق V2.5 Pro في أبريل—فهو يضاهي Claude Opus في معظم معايير البرمجة ويعمل بتكلفة تقريبية 0.43 دولار للمدخلات / 0.87 دولار للمخرجات لكل مليون رمز. بينما يكلف Opus 5 دولارات للمدخلات / 25 دولارًا للمخرجات لكل مليون رمز.
UltraSpeed يسرّع نموذج MiMo V2.5 Pro الدقيق هذا، وليس نسخة مجردة.
سرعة الاستدلال الكافية تغير كيفية استخدامك للنموذج. يمكنك تشغيل عشرات مسارات التفكير بالتوازي بدلاً من انتظار إجابة واحدة. الكشف عن الاحتيال، توليد إشارات التداول، حلقات الوكلاء في الوقت الفعلي—كل هذه المهام لديها قيود صارمة على زمن الاستجابة (latency) لا يمكن لسرعة 60 رمزًا في الثانية تلبيتها. عند 1000 رمز في الثانية، يمكنها ذلك.
تسعر شاومي السرعة بثلاثة أضعاف سعر MiMo-V2.5-Pro القياسي للحصول على حوالي 10 أضعاف الإنتاجية. ستجري تجربة واجهة برمجة التطبيقات (API) في الفترة من 9 إلى 23 يونيو، وستكون قائمة على الطلبات، مع إعطاء الأولوية للمؤسسات والمطورين المحترفين. نقطة التحقق FP4-DFlash متاحة بالفعل كمصدر مفتوح على Hugging Face للاختبار من قبل المجتمع.
