AI资讯

小米 MiMo 转向因果编解码架构:百万上下文预填充算力降至五分之一

发布时间:2026年11月08日 11:40:00

11 月 8 日,SemiAnalysis 披露小米 MiMo 下一代模型将采用因果编解码架构,提示词只通过 49 层中的 25 层。按 100 万 token 上下文测算,预填充算力比 MiMo-V2 减少约 5 倍,KV Cache 缩小约 4.5 倍。该设计针对长上下文推理的成本问题。


事件:小米给长上下文换了一套架构

11 月 8 日,SemiAnalysis 披露:小米 MiMo 下一代模型将采用**因果编解码(causal encoder-decoder)**架构。

核心设计是层数不对称:

项目数值
总层数49 层
提示词经过的层数25 层
百万 token 预填充算力比 MiMo-V2 减少约 5 倍
KV Cache比 MiMo-V2 缩小约 4.5 倍

也就是说,输入的长提示只走一半的层,生成阶段再走完整层数。这个不对称,是省算力的关键。

为什么长上下文的瓶颈在「预填充」

大模型处理长文本分两个阶段:

  1. 预填充(prefill):把整段输入一次性编码,计算量随上下文长度平方增长;
  2. 解码(decode):逐 token 生成,每步都要读取 KV Cache。

当上下文达到百万 token,预填充成本会变得非常高——用户上传一份长文档,在开始回答之前,模型已经消耗了大量算力。KV Cache 则决定显存占用与并发能力。

小米的设计针对正是这两点:让输入少走层,让缓存更小。

因果编解码意味着什么

传统 decoder-only 模型里,输入和输出走同一套层。编码器-解码器架构则把「理解输入」和「生成输出」分开:

  • 编码器:负责把长输入压缩成表示,层数可以更少;
  • 解码器:负责生成,保留完整深度以保证质量。

这套思路并不新,T5 时代就有。但在 decoder-only 成为主流的十年里,它被冷落了。原因是大模型更看重「统一架构 + 规模扩展」的简洁性,编码器-解码器在训练工程上更复杂。

小米选择回到这条路线,说明成本压力开始压过架构简洁性。当长上下文成为标配,省算力比省工程复杂度更重要。

对比:其他家的长上下文方案

当前主流做法有三种:

方案代表代价
稀疏注意力各家均有采用实现复杂,效果需调
KV Cache 压缩/量化DeepSeek 等压缩率与精度需权衡
线性/混合注意力部分新模型长程依赖可能变弱

小米的因果编解码属于结构性省算力:不改注意力机制,而是改「输入走多深」。好处是它与现有优化可叠加,坏处是编码器压缩可能丢失细节,影响需要精细理解的任务。

对端侧与成本的意义

小米的特殊之处在于端侧基因。它的模型既要服务云端 API,也要考虑手机、汽车等端侧场景。

5 倍预填充算力下降、4.5 倍 KV Cache 缩小,对端侧意味着:

  • 更长的本地上下文成为可能;
  • 显存占用下降,能跑在更小的设备上;
  • 并发服务成本下降,云端 API 价格有下探空间。

这也解释了为什么是小米先做这件事:端侧的成本约束比云端更硬。

需要验证的三点

  1. 质量是否掉点:编码器只走 25 层,长文档的细节理解会不会变差;
  2. 训练难度:编码器-解码器的训练稳定性,比 decoder-only 更难调;
  3. 生态适配:现有推理框架、量化工具对非对称层数的支持程度。

SemiAnalysis 的信息来自公开讨论,小米尚未发布完整技术报告。上述数字应视为方向性披露,而非最终规格。

判断:长上下文进入「结构优化」阶段

过去两年,长上下文的竞争是「谁支持得更长」:128K、256K、1M、10M。现在竞争转向「谁能把长上下文的成本压下来」。

原因很现实:支持 1M 上下文不难,难的是让 1M 上下文在真实业务里用得起。一份合同、一份财报、一段长视频,用户不会为一次问答支付过高价格。

小米的因果编解码是这个方向上的一个样本。它不一定成为标准答案,但它提出了一个正确的问题:长上下文的价值,取决于单位 token 的成本,而不是窗口大小。