Kebanyakan orang mengenal Xiaomi sebagai merek ponsel asal Tiongkok. Yang membuat skuter listrik murah dan pemurni udara. Bukan perusahaan yang Anda harapkan akan memecahkan rekor kecepatan inferensi AI besar pada Senin pagi.
Namun, Xiaomi baru saja merilis MiMo-V2.5-Pro-UltraSpeed, mode penyajian untuk model unggulan 1 triliun parameternya yang mencapai lebih dari 1.000 token per detik—memuncak mendekati 1.200 dalam demo.
Parameter adalah bobot numerik internal yang mendefinisikan cara model berpikir—semakin banyak yang Anda miliki, semakin kompleks pola yang dapat dikenali. Token adalah potongan teks yang dibaca dan ditulis model, rata-rata sekitar tiga perempat kata.
Xiaomi melakukannya pada satu node komoditas 8-GPU. Perangkat keras standar, tanpa chip kustom. Itu mengubah kalkulus tentang siapa yang sebenarnya dapat menyebarkan kecepatan seperti ini dalam produksi.
Untuk menempatkan angka tersebut dalam konteks manusia: menurut Artificial Analysis, GPT-5.5—yang kebanyakan pengguna ChatGPT ajak bicara—berada di 68. Claude Opus 4.6 mencapai sekitar 71 dengan model yang lebih rendah, Haiku, menyentuh 98 token per detik. Gemini Flash mencapai 192 token per detik. MiMo-V2.5-Pro-UltraSpeed mencapai 1.000, pada model yang setara dengan Opus dalam tolok ukur pengkodean.
Cerebras dan Groq membangun seluruh bisnis berdasarkan masalah ini. Cerebras merancang chip skala wafer seukuran piring makan, mengemas memori on-chip 44GB untuk menghilangkan hambatan bandwidth yang memperlambat inferensi GPU. Ini mencapai 969 token per detik pada Llama 3.1 405B milik Meta—mengesankan, tetapi itu adalah model 405 miliar parameter, kurang dari setengah ukuran MiMo-V2.5-Pro. Arsitektur Unit Pemrosesan Bahasa kustom Groq mencapai sekitar 300–750 token per detik tergantung pada modelnya.
Tidak ada yang berjalan pada perangkat keras yang bisa Anda sewa dari AWS malam ini.
Xiaomi melakukannya pada GPU komoditas hanya melalui perangkat lunak—kombinasi trik tingkat model dan mesin inferensi yang dibangun khusus bernama TileRT.
Dua teknik membawa kecepatan ini. Teknik pertama disebut Kuantisasi FP4: alih-alih menjalankan model pada presisi numerik 8-bit atau 16-bit penuh, Xiaomi mengecilkan lapisan ahli—yang membentuk sebagian besar dari 1 triliun parameter—menjadi 4-bit. Jejak memori berkurang, tekanan bandwidth berkurang, kecepatan meningkat. Kekurangannya biasanya adalah sedikit penurunan kualitas. Solusi Xiaomi adalah bedah: hanya lapisan ahli yang dikompresi, semuanya tetap pada presisi penuh. Dengan pendekatan ini, kehilangan kualitas digambarkan mendekati nol.
Yang kedua adalah decoding spekulatif DFlash. Decoding spekulatif normal memiliki model draf kecil yang menebak beberapa token berikutnya, lalu model besar memverifikasinya secara paralel. DFlash melewati penyusunan berurutan sepenuhnya—ia mengisi seluruh blok posisi bertopeng dalam satu lintasan maju. Dalam tugas pengkodean, model besar menerima rata-rata 6,3 dari 8 token yang diusulkan per putaran verifikasi. Itu berarti enam token dikonfirmasi dalam satu langkah alih-alih satu.
TileRT menyatukan semuanya. Ini menjaga seluruh pipa komputasi terus-menerus berada di dalam GPU—tanpa overhead peluncuran per operator, tanpa celah eksekusi.
Xiaomi menyebut pendekatan ini "codesign model-sistem ekstrem," dan frasa tersebut akurat: Tidak ada teknik sendirian yang mencapai 1.000 token per detik, tetapi sinergi di antara semua pendekatanlah yang berhasil.
MiMo-V2.5-Pro adalah model tingkat terdepan. Kami meliput peluncuran V2.5 Pro pada bulan April—ini menyamai Claude Opus pada sebagian besar tolok ukur pengkodean dan berjalan dengan biaya sekitar $0,43 input / $0,87 output per juta token. Opus berharga $5 input / $25 output per juta token.
UltraSpeed mempercepat model MiMo V2.5 Pro yang persis sama, bukan versi yang disederhanakan.
Inferensi yang cukup cepat mengubah cara Anda dapat menggunakan model. Anda dapat menjalankan lusinan jalur penalaran secara paralel alih-alih menunggu satu jawaban. Deteksi penipuan, generasi sinyal perdagangan, putaran agen waktu nyata—semua ini memiliki kendala latensi keras yang tidak dapat dipenuhi oleh 60 token per detik. Pada 1.000 token per detik, itu bisa.
Xiaomi membanderol kecepatan ini 3 kali lipat dari tarif MiMo-V2.5-Pro standar untuk sekitar 10 kali lipat output. Uji coba API berjalan 9–23 Juni, berbasis aplikasi, dengan prioritas diberikan kepada pengembang perusahaan dan profesional. Checkpoint FP4-DFlash sudah bersifat sumber terbuka di Hugging Face untuk pengujian komunitas.
