AI资讯

llama.cpp 一夜连发 17 个预发布,修复多家模型工具调用异常

发布时间:2026年11月15日 15:00:00

11 月 15 日,llama.cpp 的 b 线在一夜之间推出 17 个预发布版本,其中三条直接影响智能体:b12388 放行落在未闭合思考块中间的 Gemma 4 工具调用,b12391 允许 Ministral-3 与 Qwen3 在推理段内触发工具调用,b12404 修复流式响应后的连接复用。稳定版本仍锁定 11 月 13 日的 llama.cpp v1。


事件:一次高密度的修 bug 夜

11 月 15 日,llama.cpp 的 b 线在一夜之间推出 17 个预发布版本。

其中三条直接影响「智能体能不能正常调用工具」:

版本修复内容
b12388放行落在未闭合思考块中间的 Gemma 4 工具调用
b12391允许 Ministral-3 与 Qwen3 在推理段内触发工具调用
b12404修复流式响应后的连接复用

稳定版本仍锁定在 11 月 13 日发布的 llama.cpp v1。

这三个 bug 为什么值得单独说

表面上看是三个解析问题,实际是同一个矛盾:推理模型的「思考过程」和「工具调用」在同一条输出流里打架。

推理模型会在输出里插入思考块(thinking block)。工具调用可能出现在三个位置:

位置结果
思考块之后正常
思考块之内(已闭合)有些实现会丢
思考块之内(未闭合)整段被丢弃

b12388 修的就是最后一种:工具调用嵌在没闭合的思考块中间,解析器直接把它连同后续内容一起扔了——表现就是「模型明明想调工具,却什么都没发生」。

对用户而言,这就是一个玄学问题:换个模型就好,换个版本就好,很难定位。

「连接复用」这条容易被忽略

b12404 修的是流式响应后的连接复用。这类 bug 的典型症状是:

  • 单次请求正常;
  • 连续多次请求时,偶尔卡住或返回空;
  • 换新连接重试又好了。

在多智能体场景里,这种偶发失败最致命——一个智能体卡住,整条流水线就停在那里,而日志里看不出任何错误。

对本地部署团队的实际建议

情况建议
用 Gemma 4 / Ministral-3 / Qwen3 跑 Agent可在测试机上试 03:03 UTC 之后的构建
生产环境继续锁 llama.cpp v1,不要跟预发布
出现「工具调用无响应」先查版本,再看提示词

预发布不是版本锚点。这一夜的 17 个版本说明迭代极快,跟着跑会把生产环境变成试验场。

这件事反映的行业状态

llama.cpp 是本地推理的事实标准,它的 bug 修复节奏能反映整个生态的状态:

  1. 推理模型 + 工具调用的组合仍不稳定:各家模型格式不一,解析器要逐个适配;
  2. Agent 场景对确定性要求极高:偶发失败在聊天里可以忍,在自动化里不能;
  3. 开源社区承担了大量兼容工作:商业 SDK 之下的这层,多数靠志愿者维护。

三层影响

对本地部署团队:短期要忍受版本抖动,长期应按「模型 + 版本」组合做回归测试。

对模型厂商:输出格式的规范性会变成竞争力——格式越怪,适配成本越高。

对工具链:Agent 框架需要增加「工具调用未触发」的检测与重试机制。

需要冷静看的几点

  1. 预发布版本未经充分验证,不建议上生产。
  2. 修复范围限于这几家模型,其他模型可能仍有同类问题。
  3. v1 稳定版不含这些修复,需等下一个稳定窗口。
  4. 具体触发条件依赖模型输出格式,复现需要具体样本。

观察点

  1. 下一个稳定版是否合入这三条修复。
  2. 其他推理模型是否出现同类问题。
  3. Agent 框架的重试策略是否跟进。
  4. v1 的发布周期:稳定版多久一个。

一句话总结:这 17 个预发布说明本地智能体已经能跑,但「跑得稳」还要靠一层层解析适配——这也是开源自托管路线目前最真实的成本。