AI资讯

百度开源文心 5.5 Flash Base:280B 总参数 14B 激活,支持百万级上下文

发布时间:2026年11月06日 09:20:00

11 月 5 日,百度开源基座模型 ERNIE 5.5 Flash Base,采用 280B 总参数、14B 激活参数的稀疏 MoE 架构,使用 33.5 万亿 token 预训练,训练上下文 128K,微调与推理阶段支持 1M。模型以 FP8 与 BF16 权重发布,定位是供社区做领域适配与指令微调,而非直接对话使用。


事件:一份「纯基座」的开源

11 月 5 日,百度正式开源 ERNIE 5.5 Flash Base。这不是一个开箱即用的聊天模型,而是一个没有经过任何中训练和后训练的预训练终点 checkpoint。

关键参数:

项目数值
总参数280B
每 token 激活14B
预训练 token 数33.5T
训练上下文最高 128K
微调与推理上下文最高 1M
发布格式FP8 / BF16 safetensors

百度把定位写得很明确:一个 Base 模型的价值,既在于预训练建立了怎样的能力基础,也在于它为后续训练提供了怎样的起点。换句话说,这份权重是给有训练能力的团队的,不是给直接调 API 的人用的。

架构:把效率写进每个组件

这代模型的设计取向只有一个词——效率。具体体现在几个结构选择上。

混合注意力:43 层里只有 6 层做全上下文

整个模型 43 层 Transformer,每七层保留一层做全上下文的 token 级访问,使用 MLA 多头潜在注意力;其余 37 层使用重度压缩注意力(HCA):每 128 个 token 压缩成一条缓存条目,只在这条压缩序列加最近一小段未压缩 token 上做稠密注意力。

效果是:HCA 层只需要全上下文层 KV cache 的一小部分,就能保留对整个序列的全局视野。全上下文那 6 层再叠加稀疏注意力(DSA),用轻量 indexer 给历史位置打分,核心注意力只在 top-k 上计算,每个 query 的注意力开销不再随上下文长度增长。

还有一个反直觉的细节:头维度不统一。HCA 层计算量小,用 512 维宽头;MLA 层逐 token 访问、计算量大,用 256 维窄头。计算量小的层用大头,计算量大的层用小头。

Multi-Router Latent MoE

传统 MoE 用一个路由器给专家打分,一次硬 top-k 选出专家。百度发现这种打分与专家的实际效用只是弱相关,中深层尤其明显——落选的专家拿不到该 token 的梯度,选错就很难纠正,错误会不断自我强化。

改法是让多个独立初始化的 sigmoid 路由器一起打分。一个专家只要被某个路由器强烈看好,或被几个同时看好,就有机会入选。激活专家数、专家 FLOPs 和通信量跟单路由器完全一样,但路由打分与实际效用的相关性明显提升。

MoE 层配置是 512 个路由专家选 10,外加 1 个共享专家;每层先把 token 从 4096 维投影到 2048 维隐空间再算,dispatch 与 combine 的通信量、专家 FLOPs 大约减半。

训练侧:Muon 优化器与自研算子

预训练用 Muon 优化器 + FP8 混合精度,上下文逐步扩展到 128K。基建上还有两个自研成果:

  • 分布式 Muon 优化器:把 Dense 参数通信改走跨机同号卡路径,并把 Dense 与 MoE 的同号卡通信融合成单次集合通信,同时做节点间均衡切分,避免参数堆在靠前的卡上导致显存失衡;
  • FlashMask-4:基于 CuTe-DSL 实现,同时支持 SM90 与 SM100,支持到 qk_head_dim 576、v_head_dim 512 的规模,在 SM100 上相比 FlashAttention-4 前向性能最高提升 175%,反向最高提升 74%。

评测:代码类全面领先同级

百度把 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 拉进同一评测框架,使用相同 prompt 与 few-shot。

基准ERNIE 5.5 FlashDeepSeek V4 FlashHy3 previewMiMo V2.5
MMLU93.389.487.587.6
MMLU-Pro78.469.266.965.7
GPQA60.255.950.251.4
HumanEval+82.369.578.074.4
MBPP+81.567.278.374.3
LiveCodeBench40.131.933.532.4
RepoQA91.781.091.356.5

代码类提升最明显:HumanEval+ 比 DeepSeek V4 Flash 高 12.8 个点,MBPP+ 高 14.3 个点,MMLU-Pro 高 9.2 个点。

知识类有输有赢:SimpleQA 34.1 领先,但 ChineseSimpleQA 73.0 略低于 DeepSeek 的 75.3;长上下文里 HELMET-Rerank 56.2 与 InfiniteBench 46.5 也都低于 DeepSeek。考虑到 43 层里有 37 层是 128 倍压缩的 HCA,长上下文还能打到这个水平,说明压缩注意力的设计是成立的。

怎么用:Base 不等于产品

权重在 Hugging Face 以 ERNIE 5.5 Flash Base Model License Agreement v1.0 发布,提供 FP8 与 BF16 两版。Base 模型要求每条输入以 BOS token 开头,分词时保持 add_special_tokens=True;SGLang 与 vLLM 都能通过 completions API 提供服务。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "baidu/ERNIE-5.5-Flash-Base-BF16"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name, torch_dtype=torch.bfloat16, device_map="auto"
)
model_inputs = tokenizer(
    ["ERNIE 5.5 Flash 的混合注意力结构"],
    add_special_tokens=True, return_tensors="pt"
).to(model.device)
print(tokenizer.decode(model.generate(**model_inputs, max_new_tokens=256)[0],
                       skip_special_tokens=True))

注意:Base 权重不做后训练,直接对话效果不会好。百度表示经过后训练的版本将随后推出。

判断:这次开源的价值在「起点」而不是「跑分」

大部分开源基座的做法是先堆参数、再优化推理;ERNIE 5.5 Flash 反过来——从注意力、残差连接到 MoE 层和输出头,每个组件都在问同一个问题:这个设计在后续训练和长上下文处理里要付多少代价。

每 token 只激活 14B 参数、KV cache 占用还小,意味着微调和部署的门槛都降下来了。对一个「供社区做后续训练」的 Base 来说,这比多几个 benchmark 分数更有意义。

国内开源模型的竞争,因此从「谁的榜单更高」转到「谁的起点更好用」:权重是否好微调、显存是否吃得下、长上下文是否真能跑。对做行业模型的团队,这三个问题比 MMLU 的几个点更实际。