小米开源 Xiaomi MiMo-V2-Flash：高效推理、代码与 Agent 基座模型

发布时间：2025-12-17

点击次数：

小米正式开源 xiaomi mimo-v2-flash——一款由小米自主研发、专为极致推理性能优化的 moe 大模型，总参数量达 309b（激活参数仅 15b）。该模型创新性融合 hybrid 注意力机制与多层级 mtp 推理加速技术，在多项 agent 能力评测中稳居全球开源模型前两名；其代码生成能力超越所有现有开源模型，与顶级闭源模型 claude 4.5 sonnet 持平，而推理成本仅为后者的 2.5%，生成速度更提升至 2 倍，真正实现了大模型效果与效率的双重突破。

小米开源 Xiaomi MiMo-V2-Flash：高效推理、代码与 Agent 基座模型

MiMo-V2-Flash 模型整体架构如下：

小米开源 Xiaomi MiMo-V2-Flash：高效推理、代码与 Agent 基座模型

MiMo-V2-Flash 核心设计亮点：

混合注意力机制

采用比例为 5:1 的 Sliding Window Attention（SWA）与 Global Attention（GA）协同结构，滑动窗口大小设为 128，原生支持 32K 上下文，并在训练中扩展至 256K。大量前期实验表明，SWA 在通用性、长文本建模及推理稳定性方面全面优于主流 Linear Attention，同时具备固定尺寸的 KV Cache，极大简化了与现有训练与推理基础设施（Infra）的集成适配流程。

MTP 推理加速技术

通过 Multi-Token Prediction（MTP）方式强化基座模型能力，并在推理阶段实现多 Token 并行验证，有效缓解传统自回归解码在大 Batch 场景下的显存带宽瓶颈。实测数据显示：启用 3 层 MTP 后，接收长度提升 2.8～3.6 倍，端到端推理加速比达 2.0～2.6 倍。

综上，MiMo-V2-Flash 凭借模型结构与训推系统深度协同的创新设计，可在不同硬件平台上灵活调节 Batch Size 与 MTP 层数，充分释放 GPU 算力，兼顾高吞吐、低延迟与极致推理性能。