小米 MiMo 转向因果编解码架构:百万上下文预填充算力降至五分之一
发布时间:2026年11月08日 11:40:0011 月 8 日,SemiAnalysis 披露小米 MiMo 下一代模型将采用因果编解码架构,提示词只通过 49 层中的 25 层。按 100 万 token 上下文测算,预填充算力比 MiMo-V2 减少约 5 倍,KV Cache 缩小约 4.5 倍。该设计针对长上下文推理的成本问题。
事件:小米给长上下文换了一套架构
11 月 8 日,SemiAnalysis 披露:小米 MiMo 下一代模型将采用**因果编解码(causal encoder-decoder)**架构。
核心设计是层数不对称:
| 项目 | 数值 |
|---|---|
| 总层数 | 49 层 |
| 提示词经过的层数 | 25 层 |
| 百万 token 预填充算力 | 比 MiMo-V2 减少约 5 倍 |
| KV Cache | 比 MiMo-V2 缩小约 4.5 倍 |
也就是说,输入的长提示只走一半的层,生成阶段再走完整层数。这个不对称,是省算力的关键。
为什么长上下文的瓶颈在「预填充」
大模型处理长文本分两个阶段:
- 预填充(prefill):把整段输入一次性编码,计算量随上下文长度平方增长;
- 解码(decode):逐 token 生成,每步都要读取 KV Cache。
当上下文达到百万 token,预填充成本会变得非常高——用户上传一份长文档,在开始回答之前,模型已经消耗了大量算力。KV Cache 则决定显存占用与并发能力。
小米的设计针对正是这两点:让输入少走层,让缓存更小。
因果编解码意味着什么
传统 decoder-only 模型里,输入和输出走同一套层。编码器-解码器架构则把「理解输入」和「生成输出」分开:
- 编码器:负责把长输入压缩成表示,层数可以更少;
- 解码器:负责生成,保留完整深度以保证质量。
这套思路并不新,T5 时代就有。但在 decoder-only 成为主流的十年里,它被冷落了。原因是大模型更看重「统一架构 + 规模扩展」的简洁性,编码器-解码器在训练工程上更复杂。
小米选择回到这条路线,说明成本压力开始压过架构简洁性。当长上下文成为标配,省算力比省工程复杂度更重要。
对比:其他家的长上下文方案
当前主流做法有三种:
| 方案 | 代表 | 代价 |
|---|---|---|
| 稀疏注意力 | 各家均有采用 | 实现复杂,效果需调 |
| KV Cache 压缩/量化 | DeepSeek 等 | 压缩率与精度需权衡 |
| 线性/混合注意力 | 部分新模型 | 长程依赖可能变弱 |
小米的因果编解码属于结构性省算力:不改注意力机制,而是改「输入走多深」。好处是它与现有优化可叠加,坏处是编码器压缩可能丢失细节,影响需要精细理解的任务。
对端侧与成本的意义
小米的特殊之处在于端侧基因。它的模型既要服务云端 API,也要考虑手机、汽车等端侧场景。
5 倍预填充算力下降、4.5 倍 KV Cache 缩小,对端侧意味着:
- 更长的本地上下文成为可能;
- 显存占用下降,能跑在更小的设备上;
- 并发服务成本下降,云端 API 价格有下探空间。
这也解释了为什么是小米先做这件事:端侧的成本约束比云端更硬。
需要验证的三点
- 质量是否掉点:编码器只走 25 层,长文档的细节理解会不会变差;
- 训练难度:编码器-解码器的训练稳定性,比 decoder-only 更难调;
- 生态适配:现有推理框架、量化工具对非对称层数的支持程度。
SemiAnalysis 的信息来自公开讨论,小米尚未发布完整技术报告。上述数字应视为方向性披露,而非最终规格。
判断:长上下文进入「结构优化」阶段
过去两年,长上下文的竞争是「谁支持得更长」:128K、256K、1M、10M。现在竞争转向「谁能把长上下文的成本压下来」。
原因很现实:支持 1M 上下文不难,难的是让 1M 上下文在真实业务里用得起。一份合同、一份财报、一段长视频,用户不会为一次问答支付过高价格。
小米的因果编解码是这个方向上的一个样本。它不一定成为标准答案,但它提出了一个正确的问题:长上下文的价值,取决于单位 token 的成本,而不是窗口大小。