谷歌发布世界模型Genie 4：一句话生成可交互虚拟世界，首次实现音视频同步 - 果核剥壳

10月28日消息，谷歌DeepMind于周二推出最新世界模型Genie 4，目前处于研究预览阶段。这款模型能够生成迄今为止拟真度最高、可交互的虚拟世界，用户可以在模拟运行过程中输入提示词来修改场景。该模型还能生成与虚拟世界同步的实时音频，涵盖音乐、环境音以及可交互对话——这也是谷歌世界模型首次实现音视频同步生成。

与前代Genie 3相比，除画面拟真度大幅提升并新增音频能力外，Genie 4支持自由形式的编辑操作，比如实时调整天气、镜头角度，或新增人物与物体。其最长可维持两分钟连贯不变的场景，时长是前代的两倍，物理效果表现更好，虚拟人物也更加贴近真人。

与Gemini的集成度进一步提高：Gemini相当于导演，负责规划步骤、校验画面帧，Genie 4则负责生成视觉内容。在一项与Gemini机器人项目相关的研究实验中，Gemini Argon模型把任务拆解成多个步骤，再由Genie 4进行实时仿真，展示了一种可行方案——在真实世界开展机器人测试前，先在仿真环境里验证相关场景。

谷歌研究总监特贾斯·库尔卡尼在简报会上表示：“未来我们会越来越多地见到这类混合式世界模型，由Gemini编写代码和文本，Genie 4实时读取这些内容，在不同抽象层级上对现实进行仿真。”

商业化落地场景方面，世界模型的主推方向包括游戏、交互式学习以及机器人领域。交互式学习的一个设想案例是：用户进入一幅描绘历史场景的画作当中，与画中人物交流画里记载的事件。

值得关注的是，“可信测试者”（首批能够体验谷歌前沿产品的用户）发现了一个潜在新用途——电影原型制作。DeepMind工程师迭戈·里瓦斯在媒体简报会上说：“实时特性的价值，在需要维持连贯创作思路的场景里体现得尤为突出。比如创意构思阶段、分镜脚本阶段，所有需要快速迸发创意的环节都适用。”

谷歌此前还推出过AI视频生成模型Veo，可根据文本、图片或视频提示词生成高清短片、自带同步音频，该工具在影视创作者群体中热度持续上升。里瓦斯补充说，用户未来有望借助多模态大模型Gemini Omni，把原型素材转化为正式创作资产，不过他也提到这些能力距离落地还有一段距离。

局限性方面，里瓦斯在整场简报会上反复强调Genie 4仍处发展早期，完整产品最终是什么体验还没有定论。团队承认模型仍存在短板：仿真运行时间越长，细节和物体就越容易出现偏移；团队还没有找到稳妥的办法，保证音频准确无误，同时让虚拟世界里的文字清晰可辨。

开放计划方面，Genie 4目前已面向可信测试者开放研究预览。未来几周内，将陆续向谷歌AI Ultra订阅用户、Genie项目（可根据文本或图片提示词生成可交互虚拟世界的AI工具）用户、Gemini API和谷歌AI Studio早期合作方开放使用权限。

竞争背景，就在Genie 4发布数月前，AI视频初创公司Runway推出了第二款世界模型GWM Worlds 2，可交互运行、能对用户输入做出动态响应，同时支持音频生成。与此同时，世界模型赛道开始出现整合趋势：李飞飞创立的世界实验室被AMD收购，亚马逊正在洽谈收购Decart，Rivian则刚刚收购Third Dimension，在内部搭建用于自动驾驶测试的仿真能力。