ज्यादातर लोग Xiaomi को चीनी फोन ब्रांड के रूप में जानते हैं। वह जो सस्ते इलेक्ट्रिक स्कूटर और एयर प्यूरीफायर बनाता है। यह ठीक वैसी कंपनी नहीं है जिससे आप सोमवार सुबह AI इन्फेरेंस स्पीड का एक बड़ा रिकॉर्ड तोड़ने की उम्मीद करेंगे।
और फिर भी। Xiaomi ने अभी MiMo-V2.5-Pro-UltraSpeed जारी किया है, जो इसके ट्रिलियन-पैरामीटर फ्लैगशिप के लिए एक सर्विंग मोड है जो प्रति सेकंड 1,000 से अधिक टोकन तक पहुंचता है - डेमो में 1,200 के करीब पहुंचता है।
पैरामीटर आंतरिक संख्यात्मक वजन होते हैं जो परिभाषित करते हैं कि एक मॉडल कैसे सोचता है - आपके पास जितने अधिक पैरामीटर होते हैं, वह उतनी ही जटिल पैटर्न को पहचान सकता है। टोकन पाठ के वे खंड होते हैं जिन्हें मॉडल पढ़ता और लिखता है, औसतन प्रत्येक लगभग एक शब्द का तीन-चौथाई होता है।
Xiaomi ने इसे एक ही 8-GPU कमोडिटी नोड पर किया। मानक हार्डवेयर, कोई कस्टम चिप्स नहीं। यह इस बात के लिए गणना बदल देता है कि वास्तव में कौन इस तरह की गति को उत्पादन में तैनात कर सकता है।
उस संख्या को मानवीय शब्दों में कहें तो: आर्टिफिशियल एनालिसिस के अनुसार, GPT-5.5 - जिससे अधिकांश ChatGPT उपयोगकर्ता वास्तव में बात कर रहे हैं - 68 पर है। Claude Opus 4.6 निचले स्तर के मॉडल, Haiku के साथ लगभग 71 पर आता है, जो प्रति सेकंड 98 टोकन को छूता है। Gemini Flash प्रति सेकंड 192 टोकन हिट करता है। MiMo-V2.5-Pro-UltraSpeed 1,000 करता है, एक ऐसे मॉडल पर जो कोडिंग बेंचमार्क पर ओपस से मेल खाता है।
Cerebras और Groq ने इस समस्या के इर्द-गिर्द पूरे व्यवसाय बनाए। Cerebras ने एक डिनर प्लेट के आकार की वेफर-स्केल चिप डिज़ाइन की, जिसमें 44GB ऑन-चिप मेमोरी थी ताकि बैंडविड्थ की बाधा को खत्म किया जा सके जो GPU इन्फेरेंस को धीमा कर देती है। इसने मेटा के Llama 3.1 405B पर प्रति सेकंड 969 टोकन हिट किए - प्रभावशाली, लेकिन यह 405-बिलियन-पैरामीटर मॉडल है, जो MiMo-V2.5-Pro के आकार के आधे से भी कम है। Groq की कस्टम लैंग्वेज प्रोसेसिंग यूनिट आर्किटेक्चर मॉडल के आधार पर प्रति सेकंड 300-750 टोकन तक पहुंचता है।
आज रात AWS से किराए पर मिलने वाले हार्डवेयर पर इनमें से कोई भी नहीं चलता है।
Xiaomi ने यह कमोडिटी GPUs पर केवल सॉफ्टवेयर के माध्यम से किया - मॉडल-स्तर की तरकीबों और TileRT नामक एक विशेष रूप से निर्मित इन्फेरेंस इंजन का एक संयोजन।
दो तकनीकें गति प्रदान करती हैं। पहली तकनीक को FP4 क्वांटाइज़ेशन कहा जाता है: मॉडल को पूर्ण 8-बिट या 16-बिट संख्यात्मक सटीकता पर चलाने के बजाय, Xiaomi विशेषज्ञ परतों - जो 1 ट्रिलियन पैरामीटर का अधिकांश हिस्सा बनाती हैं - को 4-बिट तक कम कर देता है। मेमोरी फुटप्रिंट कम हो जाता है, बैंडविड्थ दबाव कम हो जाता है, गति बढ़ जाती है। इसका दोष आमतौर पर थोड़ी गुणवत्ता में गिरावट होती है। Xiaomi का समाधान सर्जिकल है: केवल विशेषज्ञ परतें संपीड़ित होती हैं, बाकी सब कुछ पूर्ण सटीकता पर रहता है। इस दृष्टिकोण के साथ, गुणवत्ता हानि को लगभग शून्य बताया गया है।
दूसरी DFlash स्पेकुलेटिव डिकोडिंग है। सामान्य स्पेकुलेटिव डिकोडिंग में एक छोटा ड्राफ्ट मॉडल अगले कुछ टोकन का अनुमान लगाता है, फिर बड़ा मॉडल उन्हें समानांतर में सत्यापित करता है। DFlash अनुक्रमिक ड्राफ्टिंग को पूरी तरह से छोड़ देता है - यह एक ही फॉरवर्ड पास में मास्क की गई स्थितियों का एक पूरा ब्लॉक भरता है। कोडिंग कार्यों में, बड़ा मॉडल प्रति सत्यापन दौर में प्रस्तावित 8 में से औसतन 6.3 टोकन स्वीकार करता है। यह एक कदम में छह टोकन की पुष्टि है, एक के बजाय।
TileRT इसे एक साथ जोड़ता है। यह पूरे कंप्यूट पाइपलाइन को GPU के अंदर लगातार निवासी रखता है - कोई प्रति-ऑपरेटर लॉन्च ओवरहेड नहीं, कोई निष्पादन अंतराल नहीं।
Xiaomi इस दृष्टिकोण को "चरम मॉडल-सिस्टम कोडिज़ाइन" कहता है, और यह वाक्यांश सटीक है: केवल एक तकनीक 1,000 टोकन प्रति सेकंड तक नहीं पहुंचती है, लेकिन सभी दृष्टिकोणों के बीच तालमेल ऐसा करता है।
MiMo-V2.5-Pro एक फ्रंटियर-स्तर का मॉडल है। हमने अप्रैल में V2.5 प्रो लॉन्च को कवर किया था - यह अधिकांश कोडिंग बेंचमार्क पर Claude Opus से मेल खाता है और प्रति मिलियन टोकन पर लगभग $0.43 इनपुट / $0.87 आउटपुट पर चलता है। ओपस की लागत प्रति मिलियन टोकन पर $5 इनपुट / $25 आउटपुट है।
UltraSpeed उसी MiMo V2.5 Pro मॉडल को गति देता है, न कि किसी स्ट्रिप्ड-डाउन संस्करण को।
पर्याप्त तेज़ इन्फेरेंस मॉडल का उपयोग करने के तरीके को बदल देता है। आप एक उत्तर की प्रतीक्षा करने के बजाय दर्जनों तर्क पथों को समानांतर में चला सकते हैं। धोखाधड़ी का पता लगाना, ट्रेडिंग सिग्नल जेनरेशन, रीयल-टाइम एजेंट लूप - इन सभी में कठिन लेटेंसी बाधाएं हैं जिन्हें प्रति सेकंड 60 टोकन पूरा नहीं कर सकते हैं। प्रति सेकंड 1,000 टोकन पर, वे कर सकते हैं।
Xiaomi इस गति को मानक MiMo-V2.5-Pro दर से 3 गुना पर मूल्य निर्धारण कर रहा है, जो लगभग 10 गुना आउटपुट के लिए है। API ट्रायल 9-23 जून तक चलता है, यह एप्लिकेशन-आधारित है, जिसमें उद्यम और पेशेवर डेवलपर्स को प्राथमिकता दी जाती है। FP4-DFlash चेकपॉइंट सामुदायिक परीक्षण के लिए Hugging Face पर पहले से ही ओपन-सोर्स किया गया है।
