La mayoría de la gente conoce a Xiaomi como la marca de teléfonos china. La que fabrica patinetes eléctricos y purificadores de aire baratos. No es exactamente la empresa que uno esperaría que batiera un importante récord de velocidad de inferencia de IA un lunes por la mañana.
Y, sin embargo. Xiaomi acaba de lanzar MiMo-V2.5-Pro-UltraSpeed, un modo de servicio para su buque insignia de un billón de parámetros que alcanza más de 1,000 tokens por segundo, con picos cercanos a los 1,200 en demostraciones.
Los parámetros son los pesos numéricos internos que definen cómo "piensa" un modelo; cuantos más se tienen, más complejos son los patrones que puede reconocer. Los tokens son los fragmentos de texto que el modelo lee y escribe, aproximadamente tres cuartos de palabra cada uno en promedio.
Xiaomi lo logró en un único nodo comercial de 8 GPU. Hardware estándar, sin chips personalizados. Esto cambia el cálculo de quién puede realmente desplegar este tipo de velocidad en producción.
Para poner ese número en términos humanos: según Artificial Analysis, GPT-5.5 —lo que la mayoría de los usuarios de ChatGPT usan— se sitúa en 68. Claude Opus 4.6 ronda los 71, con el modelo de gama baja, Haiku, alcanzando los 98 tokens por segundo. Gemini Flash llega a 192 tokens por segundo. MiMo-V2.5-Pro-UltraSpeed logra 1,000, en un modelo que iguala a Opus en los benchmarks de codificación.
Cerebras y Groq construyeron negocios enteros en torno a este problema. Cerebras diseñó un chip a escala de oblea del tamaño de un plato, que incorpora 44 GB de memoria en chip para eliminar el cuello de botella de ancho de banda que ralentiza la inferencia de GPU. Alcanzó los 969 tokens por segundo en el Llama 3.1 405B de Meta —impresionante, pero es un modelo de 405 mil millones de parámetros, menos de la mitad del tamaño de MiMo-V2.5-Pro. La arquitectura personalizada de Unidad de Procesamiento de Lenguaje de Groq alcanza entre 300 y 750 tokens por segundo, dependiendo del modelo.
Ninguno funciona en hardware que puedas alquilar en AWS esta noche.
Xiaomi lo logró con GPUs comerciales solo a través de software, una combinación de trucos a nivel de modelo y un motor de inferencia diseñado específicamente llamado TileRT.
Dos técnicas impulsan la velocidad. La primera técnica se llama Cuantificación FP4: en lugar de ejecutar el modelo con una precisión numérica completa de 8 o 16 bits, Xiaomi reduce las capas expertas —que constituyen la mayor parte del billón de parámetros— a 4 bits. La huella de memoria disminuye, la presión del ancho de banda baja y la velocidad aumenta. El inconveniente suele ser una pequeña degradación de la calidad. La solución de Xiaomi es quirúrgica: solo las capas expertas se comprimen, todo lo demás permanece a plena precisión. Con este enfoque, la pérdida de calidad se describe como casi nula.
La segunda es la decodificación especulativa DFlash. La decodificación especulativa normal tiene un pequeño modelo borrador que adivina los siguientes tokens, y luego el modelo grande los verifica en paralelo. DFlash omite por completo el borrador secuencial: rellena un bloque completo de posiciones enmascaradas en una sola pasada hacia adelante. En tareas de codificación, el modelo grande acepta un promedio de 6.3 de 8 tokens propuestos por ronda de verificación. Eso son seis tokens confirmados en un solo paso en lugar de uno.
TileRT lo une todo. Mantiene toda la tubería de cómputo continuamente residente dentro de la GPU, sin sobrecarga de lanzamiento por operador ni interrupciones de ejecución.
Xiaomi llama a este enfoque "codesign de modelo-sistema extremo", y la frase es precisa: ninguna técnica por sí sola alcanza los 1,000 tokens por segundo, pero la sinergia entre todos los enfoques sí lo logra.
MiMo-V2.5-Pro es un modelo de nivel de frontera. Cubrimos el lanzamiento de V2.5 Pro en abril; iguala a Claude Opus en la mayoría de los benchmarks de codificación y funciona a aproximadamente $0.43 de entrada / $0.87 de salida por millón de tokens. Opus cuesta $5 de entrada / $25 de salida por millón de tokens.
UltraSpeed acelera ese mismo modelo MiMo V2.5 Pro, no una versión reducida.
Una inferencia lo suficientemente rápida cambia la forma en que se puede usar un modelo. Se pueden ejecutar docenas de rutas de razonamiento en paralelo en lugar de esperar una respuesta. La detección de fraude, la generación de señales de trading, los bucles de agente en tiempo real —todos estos tienen limitaciones de latencia estrictas que 60 tokens por segundo no pueden satisfacer. A 1,000 tokens por segundo, sí pueden.
Xiaomi está fijando el precio de la velocidad en 3 veces la tarifa estándar de MiMo-V2.5-Pro para aproximadamente 10 veces la salida. La prueba de la API se realizará del 9 al 23 de junio, basada en solicitudes, con prioridad para desarrolladores empresariales y profesionales. El checkpoint FP4-DFlash ya está disponible como código abierto en Hugging Face para pruebas de la comunidad.
