Edge0 开源 145B 端侧模型,笔记本 29GB 内存可跑每秒 80 token
发布时间:2026年11月14日 14:00:0011 月 14 日,Edge0 开源 Edge0-145B 与 Edge0-120B 两个端侧模型,并附推理框架与部署工具。官方称在 MacBook Pro 这类笔记本上最高占用 29GB 内存,解码速度超过每秒 80 token,预填超过每秒 1100 token,上下文 128K 至 256K;DeepSWE 1.1 得分 64.6,高于 Qwen3.8-Flash-Next 的 58.7。
事件:1450 亿参数,跑在笔记本上
11 月 14 日,Edge0 开源了两个端侧模型:Edge0-145B 与 Edge0-120B,同时提供推理框架与部署工具。
官方给出的数据:
| 指标 | 数值 |
|---|---|
| 内存占用 | 最高约 29GB(MacBook Pro 级别) |
| 解码速度 | 超过 80 token/秒 |
| 预填速度 | 超过 1100 token/秒 |
| 上下文 | 128K — 256K |
| DeepSWE 1.1 | 64.6(对比 Qwen3.8-Flash-Next 58.7) |
「145B 跑在笔记本上」听起来矛盾,关键在于它从设计阶段就是为本地执行做的。
怎么把 145B 塞进 29GB
三个工程手段:
第一,专家共享结构。 64 个专家共享两个大矩阵,每个专家只保留小的差异部分,需要搬运的权重因此大幅减少。
第二,分层放置。
| 数据 | 位置 | 容量 |
|---|---|---|
| 高频专家 | GPU 显存 | 少量 |
| 专家库 | 系统内存 | 约 40GB |
| 词表数据 | SSD | 约 48GB |
第三,按需读取。 冷数据留在 SSD,热数据常驻显存,用命中率换内存。
这套思路本质上是把「模型压缩」问题转成「存储层次」问题——不追求全部装进显存,而是让访问路径足够快。
为什么本地模型突然变得重要
三个现实推动力:
- 成本:Agent 任务 token 消耗大,长期跑 API 账单不可控;
- 隐私:代码、病历、合同不能出内网;
- 可用性:断网、限流、区域不可用时,本地是兜底。
对做编码 Agent 的团队,第二条尤其关键——很多企业客户的第一道门槛就是「代码不能上云」。
与云端模型的真实差距
必须说清楚:64.6 的 DeepSWE 分数属于「够用」档,不是「最强」档。
| 场景 | 本地 145B | 云端旗舰 |
|---|---|---|
| 单文件修改 | 够用 | 更好 |
| 跨仓库重构 | 吃力 | 明显更强 |
| 延迟 | 稳定可预期 | 受网络影响 |
| 单次成本 | 近乎为零 | 按 token 计费 |
结论:本地模型不是替代云端,而是承接高频、低难度、涉密的那部分工作。
三层影响
对开发者:多了一个可以离线跑 Agent 的选项,尤其是用 Mac 的独立开发者。
对硬件:内存与 SSD 带宽会成为新的性能指标,统一内存架构的机器受益明显。
对云厂商:低价值高频调用会外流,倒逼云端往「高难度任务」走。
需要冷静看的几点
- 29GB 是「最高占用」,实际随任务波动。
- 80 token/秒是解码速度,长上下文预填仍慢。
- 基准分数为官方自测,需第三方复现。
- 量化与精度损失未详细披露。
观察点
- 社区实测速度与质量。
- Windows 与 Linux 的支持情况。
- 许可条款:是否允许商用。
- 与 Ollama、llama.cpp 的兼容性。
一句话总结:Edge0-145B 证明了一件事——端侧模型的瓶颈不再只是「能不能装下」,而是「装下之后还能不能跑得动 Agent」。