llama.cpp 一夜连发 17 个预发布,修复多家模型工具调用异常
发布时间:2026年11月15日 15:00:0011 月 15 日,llama.cpp 的 b 线在一夜之间推出 17 个预发布版本,其中三条直接影响智能体:b12388 放行落在未闭合思考块中间的 Gemma 4 工具调用,b12391 允许 Ministral-3 与 Qwen3 在推理段内触发工具调用,b12404 修复流式响应后的连接复用。稳定版本仍锁定 11 月 13 日的 llama.cpp v1。
事件:一次高密度的修 bug 夜
11 月 15 日,llama.cpp 的 b 线在一夜之间推出 17 个预发布版本。
其中三条直接影响「智能体能不能正常调用工具」:
| 版本 | 修复内容 |
|---|---|
| b12388 | 放行落在未闭合思考块中间的 Gemma 4 工具调用 |
| b12391 | 允许 Ministral-3 与 Qwen3 在推理段内触发工具调用 |
| b12404 | 修复流式响应后的连接复用 |
稳定版本仍锁定在 11 月 13 日发布的 llama.cpp v1。
这三个 bug 为什么值得单独说
表面上看是三个解析问题,实际是同一个矛盾:推理模型的「思考过程」和「工具调用」在同一条输出流里打架。
推理模型会在输出里插入思考块(thinking block)。工具调用可能出现在三个位置:
| 位置 | 结果 |
|---|---|
| 思考块之后 | 正常 |
| 思考块之内(已闭合) | 有些实现会丢 |
| 思考块之内(未闭合) | 整段被丢弃 |
b12388 修的就是最后一种:工具调用嵌在没闭合的思考块中间,解析器直接把它连同后续内容一起扔了——表现就是「模型明明想调工具,却什么都没发生」。
对用户而言,这就是一个玄学问题:换个模型就好,换个版本就好,很难定位。
「连接复用」这条容易被忽略
b12404 修的是流式响应后的连接复用。这类 bug 的典型症状是:
- 单次请求正常;
- 连续多次请求时,偶尔卡住或返回空;
- 换新连接重试又好了。
在多智能体场景里,这种偶发失败最致命——一个智能体卡住,整条流水线就停在那里,而日志里看不出任何错误。
对本地部署团队的实际建议
| 情况 | 建议 |
|---|---|
| 用 Gemma 4 / Ministral-3 / Qwen3 跑 Agent | 可在测试机上试 03:03 UTC 之后的构建 |
| 生产环境 | 继续锁 llama.cpp v1,不要跟预发布 |
| 出现「工具调用无响应」 | 先查版本,再看提示词 |
预发布不是版本锚点。这一夜的 17 个版本说明迭代极快,跟着跑会把生产环境变成试验场。
这件事反映的行业状态
llama.cpp 是本地推理的事实标准,它的 bug 修复节奏能反映整个生态的状态:
- 推理模型 + 工具调用的组合仍不稳定:各家模型格式不一,解析器要逐个适配;
- Agent 场景对确定性要求极高:偶发失败在聊天里可以忍,在自动化里不能;
- 开源社区承担了大量兼容工作:商业 SDK 之下的这层,多数靠志愿者维护。
三层影响
对本地部署团队:短期要忍受版本抖动,长期应按「模型 + 版本」组合做回归测试。
对模型厂商:输出格式的规范性会变成竞争力——格式越怪,适配成本越高。
对工具链:Agent 框架需要增加「工具调用未触发」的检测与重试机制。
需要冷静看的几点
- 预发布版本未经充分验证,不建议上生产。
- 修复范围限于这几家模型,其他模型可能仍有同类问题。
- v1 稳定版不含这些修复,需等下一个稳定窗口。
- 具体触发条件依赖模型输出格式,复现需要具体样本。
观察点
- 下一个稳定版是否合入这三条修复。
- 其他推理模型是否出现同类问题。
- Agent 框架的重试策略是否跟进。
- v1 的发布周期:稳定版多久一个。
一句话总结:这 17 个预发布说明本地智能体已经能跑,但「跑得稳」还要靠一层层解析适配——这也是开源自托管路线目前最真实的成本。