AI资讯

Edge0 开源 145B 端侧模型,笔记本 29GB 内存可跑每秒 80 token

发布时间:2026年11月14日 14:00:00

11 月 14 日,Edge0 开源 Edge0-145B 与 Edge0-120B 两个端侧模型,并附推理框架与部署工具。官方称在 MacBook Pro 这类笔记本上最高占用 29GB 内存,解码速度超过每秒 80 token,预填超过每秒 1100 token,上下文 128K 至 256K;DeepSWE 1.1 得分 64.6,高于 Qwen3.8-Flash-Next 的 58.7。


事件:1450 亿参数,跑在笔记本上

11 月 14 日,Edge0 开源了两个端侧模型:Edge0-145B 与 Edge0-120B,同时提供推理框架与部署工具。

官方给出的数据:

指标数值
内存占用最高约 29GB(MacBook Pro 级别)
解码速度超过 80 token/秒
预填速度超过 1100 token/秒
上下文128K — 256K
DeepSWE 1.164.6(对比 Qwen3.8-Flash-Next 58.7)

「145B 跑在笔记本上」听起来矛盾,关键在于它从设计阶段就是为本地执行做的。

怎么把 145B 塞进 29GB

三个工程手段:

第一,专家共享结构。 64 个专家共享两个大矩阵,每个专家只保留小的差异部分,需要搬运的权重因此大幅减少。

第二,分层放置。

数据位置容量
高频专家GPU 显存少量
专家库系统内存约 40GB
词表数据SSD约 48GB

第三,按需读取。 冷数据留在 SSD,热数据常驻显存,用命中率换内存。

这套思路本质上是把「模型压缩」问题转成「存储层次」问题——不追求全部装进显存,而是让访问路径足够快。

为什么本地模型突然变得重要

三个现实推动力:

  1. 成本:Agent 任务 token 消耗大,长期跑 API 账单不可控;
  2. 隐私:代码、病历、合同不能出内网;
  3. 可用性:断网、限流、区域不可用时,本地是兜底。

对做编码 Agent 的团队,第二条尤其关键——很多企业客户的第一道门槛就是「代码不能上云」。

与云端模型的真实差距

必须说清楚:64.6 的 DeepSWE 分数属于「够用」档,不是「最强」档。

场景本地 145B云端旗舰
单文件修改够用更好
跨仓库重构吃力明显更强
延迟稳定可预期受网络影响
单次成本近乎为零按 token 计费

结论:本地模型不是替代云端,而是承接高频、低难度、涉密的那部分工作。

三层影响

对开发者:多了一个可以离线跑 Agent 的选项,尤其是用 Mac 的独立开发者。

对硬件:内存与 SSD 带宽会成为新的性能指标,统一内存架构的机器受益明显。

对云厂商:低价值高频调用会外流,倒逼云端往「高难度任务」走。

需要冷静看的几点

  1. 29GB 是「最高占用」,实际随任务波动。
  2. 80 token/秒是解码速度,长上下文预填仍慢。
  3. 基准分数为官方自测,需第三方复现。
  4. 量化与精度损失未详细披露。

观察点

  1. 社区实测速度与质量。
  2. Windows 与 Linux 的支持情况。
  3. 许可条款:是否允许商用。
  4. 与 Ollama、llama.cpp 的兼容性。

一句话总结:Edge0-145B 证明了一件事——端侧模型的瓶颈不再只是「能不能装下」,而是「装下之后还能不能跑得动 Agent」。