李飞飞团队发布 Frameboy,把世界模型 Atlas 搬进浏览器实时跑到 15 帧
发布时间:2026年11月06日 11:02:0011 月 5 日,李飞飞创办的 World Labs 发布研究预览 Frameboy,把自回归世界模型 Atlas 接入实时交互:用户在浏览器中操控相机,生成画面以最高 15 帧每秒流式传回,约每 67 毫秒一帧。官方同时把实时能力集成进网页应用 Viewfinder,目前处于封闭测试。
事件:世界模型从「等结果」变成「边走边看」
11 月 5 日,World Labs 在官方博客发布研究预览 Frameboy,把自回归世界模型 Atlas 接入实时交互。
体验方式很直白:打开 frameboy.worldlabs.ai,点击不同的游戏卡带选择预置场景,加载十几秒后,用触屏或键盘方向键、摇杆自由移动与调整视角,在由单张图片生成的 3D 世界中漫游。生成画面从云端 GPU 流式传回,最高 15 帧每秒,约合每 67 毫秒拿到一帧新画面。
15 帧意味着什么
15 帧不算流畅,但它跨过了一条重要的线:交互。
如果用户要等几十秒甚至几分钟才能看到 Atlas 生成的视频,就只能谨慎地按部就班搭建场景、规划相机路径;而当一次坏想法的调用成本接近零,探索本身就不再有代价。官方把速度列为影响交互体验的核心瓶颈,Frameboy 正是针对这一点做的工程优化。
对照来看:
| 模型 | 分辨率 | 实时帧率 | 交互方式 |
|---|---|---|---|
| Atlas | 最高 1440p | 非实时 | 生成后观看 |
| Frameboy | 流式输出 | 最高 15 fps | 浏览器内漫游 |
| Google Genie 3 | 720p | 24 fps | 实时交互 |
Frameboy 是为推理效率高度优化的 Atlas 变体,在保持生成式新视角合成能力的同时,把输出速度推到实时区间。
Atlas 的底子:逐帧生成 + 像素级相机控制
Frameboy 建立在 World Labs 两个月前发布的 Atlas 之上。Atlas 是自回归世界模型,可逐帧生成并实现像素级精确的相机控制:
- 能从单张图片或一段文本从零生成场景;
- 也能基于多张真实场景图像合成新视角。
这条技术线可以追溯到去年的轻量帧生成模型 RTFM。区别在于:RTFM 主要在既有视角之间插值,而 Atlas 能从零生成。
Viewfinder:把「搭建」和「漫游」接成一套流程
官方同时把实时能力集成进网页应用 Viewfinder,以流式叠加渲染模式呈现:
- 用户先用 Atlas 逐帧搭建场景,每一帧同时生成色彩与深度;
- 再开启 Frameboy 叠加层,边漫游边接收流式画面。
Viewfinder 目前处于封闭测试,需要加入官方等候名单。
成本仍在:必须跑在云端 GPU
Frameboy 的代价同样直接:
- 必须跑在云端高性能 GPU 服务器上,官方承认相比本地渲染并不便宜;
- 帧率上限只有 15 帧,实际操作仍略显卡顿;
- 实时生成对网络带宽与延迟敏感,跨区域体验会打折扣。
这解释了为什么它先以「研究预览」而非产品形态发布。实时世界模型进入了帧率够用、成本待摊的阶段,真正的瓶颈从模型算法转向推理效率、算力资源与底层硬件。
算力背景:AMD 的 82 亿美元收购
2026 年 9 月,AMD 以约 82 亿美元全股票交易收购 World Labs,李飞飞出任执行副总裁兼首席科学家。
这笔交易给世界模型研发带来了更直接的算力协同空间:实时生成这类负载,最需要的不是单卡峰值算力,而是低延迟的推理集群与软硬协同优化。对一家研究型公司,这比独立融资更能解决「跑得起」的问题。
应用场景:从勘景到机器人仿真
官方列出的场景包括:
- 考察知名地标,做虚拟踩点;
- 为影视拍摄勘景,先用生成世界试机位;
- 查看工地进度,把现场照片扩成可漫游空间;
- 把一张概念图扩成 3D 游戏关卡;
- 为机器人导航做环境仿真。
这些场景的共同点是需要空间直觉:用户要在环境里走动、观察、改主意,而不是看一段固定镜头。
判断:竞争焦点从「像不像」转到「快不快」
李飞飞团队这次把世界模型的竞争焦点,从生成得像不像推进到了生成得快不快。
Frameboy 用一次研究预览级的演示证明,自回归世界模型可以在浏览器里被当成可操控的实时环境。Atlas 负责质量,Frameboy 负责速度,Viewfinder 把两者接成创作流程。
但要说它「可用」还早:15 帧、云端 GPU、封闭测试,三项都指向同一个结论——这是一次方向验证,不是一次产品交付。真正的分水岭在下一步:能不能把成本降到普通团队用得起的水平。