AI资讯

商汤发布 SenseNova Loop-9B,512K 上下文、显存需求 10GB 内

发布时间:2026年11月17日 10:00:00

11 月 17 日,商汤科技发布 SenseNova Loop-9B 模型,总参数量约 9B,上下文最高支持 512K tokens,显存需求低至 10GB 以内。这组参数组合指向一个明确目标:在单张消费级或入门级显卡上跑长文档任务,把长上下文从云端能力下放到本地。


事件:9B 参数配 512K 上下文

11 月 17 日,商汤科技发布 SenseNova Loop-9B。

项目参数
总参数量约 9B
上下文最高 512K tokens
显存需求低至 10GB 以内

这三个数字放在一起,指向的是一次部署门槛的下移。

为什么这个组合不常见

长上下文与低显存天然矛盾。512K tokens 的 KV cache 本身就非常占显存,通常只有大模型配大卡才跑得动。

能做到 10GB 以内,说明在几个方向上做了取舍:

方向常规做法这类方案的思路
KV cache全量保存压缩 / 稀疏化
注意力全注意力分块或线性近似
参数更大更全9B 撑精度
精度FP16量化友好

具体技术细节官方尚未完整披露,但从参数看,这是一款为「本地长文档」场景设计的模型,而不是通用最强模型。

真实场景在哪

场景为什么适合
合同 / 判决书审阅长文档 + 数据敏感,不适合上云
病历与科研文献隐私要求高
企业知识库问答单机可部署,成本可控
代码仓理解需要长上下文
离线 / 内网环境无法访问云端 API

10GB 显存意味着单张 RTX 4080 / 4090 级别显卡就能跑,甚至可以放在工作站上常驻。

对行业的三个含义

第一,长上下文正在从「云端特权」变成「本地能力」。 一旦 512K 能在 10GB 显存里跑,很多「必须上云」的理由就不成立了。

第二,端侧竞争的焦点从「能不能跑」转向「跑多长」。 前两年比的是 7B 能不能跑起来,现在比的是同样的卡能装多少上下文。

第三,数据合规成为卖点。 对金融、医疗、政企客户,「不出内网」比「强 5 分」更有价值。

需要冷静看的几点

  1. 512K 的有效性:长上下文普遍存在中段召回衰减,需实测。
  2. 10GB 是下限还是含 KV cache:口径需要确认。
  3. 是否开源:报道未提及权重发布。
  4. 速度指标缺失:长上下文下的解码速度未公布。

观察点

  1. 官方模型卡与显存实测。
  2. 512K 下的检索召回曲线。
  3. 是否提供量化版本与端侧运行时。
  4. 与同类小参数长上下文模型的对比。

一句话总结:Loop-9B 的意义是把「512K 上下文」从需要八卡集群的能力,压到一张消费级显卡能跑的范围内——这会让很多内网场景第一次变得可行。