机器之心剪辑部

「天下模子，是整个东说念主齐会抵达的止境。这条路我现在一经 all-in 了，你跟不跟？」谢赛宁曾在前段技能接受采访时说说念。

毫无疑问，「天下模子」是本年最受顾惜的主张之一。不管你是作念视频生成照旧具身智能，投资东说念主齐未免问一句，「你们辞天下模子上有什么贪图？」

然则，一个痛苦的近况是：对于什么是天下模子，巨匠还莫得达成共鸣。

李飞飞与 World Labs 团队在近期发表的著作中对这一絮叨进行了系统的清醒，为整个这个词领域提供了一个长入的讲话和想考框架。

著作衔接：https://x.com/drfeifei/status/2062247238143996275

这篇著作在应酬媒体上激发了粗鄙的想考，相当值得一读。

以下是咱们笔据原文整理的内容。

问题的根源：意见絮叨

著作起初指出，刻下业界在辩驳「天下模子」时，存在严重的意见混浊。议论机视觉、机器东说念主学、强化学习和生成 AI 等多个领域齐宣称在成就天下模子，但各自指代的内容却天渊之隔。一个能生成视觉后果传神但物理上弗成能的火焰的视频模子、一个随心创作可玩游戏的讲话模子、以及一个能准确模拟燃烧经由的物理引擎 —— 这三样东西如今齐被冠以「天下模子」的名号。

李飞飞以为，这个问题的深层原因是对「天下」自身界说的恍惚。正如古希腊玄学家对天下的本色众说纷纭通常，当代 AI 也秉承了这一问题，且赶巧发生在这个领域最需要精准界说的技能。

表面框架：强化学习中的轮回

为了厘清意见，著作援用了强化学习领域的经典表面 —— 部分可不雅测马尔可夫有缠绵经由（POMDP）。这一框架表情了智能体与天下的互动轮回：

智能体接管行径 → 行径改动天下景色 → 产生不雅察信息 → 驱动下一走路动

在这个经由中，「景色」指的是天下在某一技能的无缺表情 —— 包括整个物体、位置、速率和属性。然则，智能体经久无法平直感知景色自身，只可通过不雅察（图像、传感器数据、视频帧等）获取对现实的单方面领路。

李飞飞以为，目下被称为「天下模子」的各样系统，本色上齐是这个轮回的不同投影。它们各自输出轮回中的不同部分。

三种功能性的天下模子

基于这一框架，作家建议了三种不同功能的天下模子：

渲染器（Renderer）

渲染器的职责是输出不雅察信息，时时以东说念主眼大略领略的像素体式呈现。推敲渲染器猛烈的主要设施是视觉保真度 —— 画面有多传神。

文中例如包括文本生成视频模子（如无东说念主机航拍视效）和交互式系统（如 Google 的 Genie 3 或 World Labs 的 RTFM），这些系统能笔据用户输入及时生成画面。其特色是对三维结构莫得显式领略 —— 它呈现的是不雅看者会看到的格局，而非现实情况。这即是为什么一个城市在俯瞰图上看起来白壁微瑕，但从城市里面驾驶却会发现建筑物「崩坏」。

模拟器（Simulator）

模拟器输出的是天下景色自身 —— 在几何、物理或能源学上齐古道于现实的示意。比较渲染器只需视觉劝服力，模拟器需要安静更严苛的结构协议：几何相关必须经得起推敲，物理经由必须战胜牛顿定律，动态行径必须妥当物理礼貌。

模拟器面向两类使用者：一是建筑师、想象师、电影制作主说念主、游戏成就者等专科东说念主士，他们需要卓越视觉的确感的准确性；二是强化学习智能体、机器东说念主截至器、自动驾驶系统等议论机身手，它们将模拟器具作大范围训诫场景，在诬捏环境中测试现实中危急、腾贵或弗成能实行的场景。

贪图器（Planner）

贪图器输出的是动作 —— 智能体在给定不雅察和目的的情况下应该接管的下一走路动。某种兴致上，贪图器是渲染器的逆经由：渲染器将行径四肢输入解救为不雅察，贪图器则以不雅察为输入产生行径，由此闭合感知 - 行径轮回。

文中提到的视觉讲话行径模子（VLA）、基于模子的系统和新兴的天下行径模子，齐是贪图器的已矣体式 —— 力求让机器东说念主在非结构化环境中作念出正确有缠绵。

三者的避讳关联

诚然这三类不错单独界定，但它们分享兼并个根基：对天下怎样运作的深层领会 —— 几何、物理、能源学。表面上，尊龙凯时官方平台下载一个的确领略天下的模子应该大略完成整个三项任务：从多个角度渲染一个杯子的格局，模拟杯子被激动时会发生什么，以及贪图一只手该怎样去提起这个杯子。

正如著作所指出的，刻下最真谛的计划一经运转成心志地恍惚这三个类别之间的界限。

为何模拟器是环节

尽管模拟器的学术关怀度最低，但在功能上最为环节，著作稀奇用整个这个词章节来强调这少许。

渲染器因其生意熟悉度而获取最多公众关怀。好多文生图、文生视频产物正在浮滥者和企业市聚积快速扩展。然则，渲染器优化的是视觉的确度而非物理准确性，这个天花板很遑急：它们的输出有余好意思不雅，却不及以用于建筑想象或机器东说念主训诫。

贪图器最具劝诱力且最不熟悉，与机器东说念主学领域细巧相关。诚然当年两年出现了在视频中看起来令东说念主印象长远的机器东说念主演示，但需要坦诚的是，这些演示简直齐局限于高度受限的实验室环境，物体种类有限、任务技能短。莫得任何系统被考证能搪塞的确部署所需的复杂性、各样性和继续性。演示视频与的确能在厨房、仓库或手术室可靠职责的机器东说念主之间仍存在巨大鸿沟。

模拟器则是联结两者的桥梁。若是说讲话是对天下的笼统，像素是对天下的投影，那么几何、物理和能源学即是天下自身。模拟器必须在这个层面上运作 —— 提供阿谁结构主干，从中既不错为东说念主类浮滥生息出视觉进展（供渲染器使用），也不错生息迁移作后果（供贪图器使用）。

掌持模拟的模子不错将其领略投影为像素供东说念主类浮滥，也不错投影为动作预计供具身智能体使用。而仅掌持渲染或贪图的模子，两者齐作念不了。

从生意角度看，诈欺空间巨大。NVIDIA 的 Omniverse 臆想在工场、仓库、供应链和数字孪生领域就有跳动 1 万亿好意思元的可寻址市集。机器东说念主训诫、自动驾驶测试、建筑可视化、工程想象和药物发现齐依赖某种体式的模拟。

领域内最艰巨的未解问题也齐会聚在这里。具有显式几何、材质属性和物理标注的三维数据比训诫渲染器的互联网视频少好几个数目级。仿真到现实的 gap 仍然存在。生成式模拟器还引入了新的风险：AI 生成的几安在视觉上看似正确，但可能含有自相交或诞妄的程序，从而产生无兴致的物理。多物理场模拟（刚体、可变形物体、流体、布料交互）的范围化仍然比单域模拟贵得多。

规模的交融趋势

刻下领域最遑急的模式是这三个类别运转彼此交融。这背后的共同知悉是：渲染、模拟和作用于天下所需的学问在很猛进程上是疏通的。

著作提到，一些机器东说念主实验室的最新职责标明，经过预训诫的视频渲染器不错四肢结合天下和动作预计的主干，这为渲染器和贪图器之间搭建了桥梁。World Labs 的 Marble 一经从单个模子同期输出高斯散射和碰撞网格，恍惚了渲染器和模拟器之间的规模。系统在各个层级齐从被迫输出演进到交互系统：渲染器造成了动作条款化的，模拟器生成的天下愈加可控和可剪辑，贪图器从被迫响应升级到主动推理。

长入天下模子的愿景

逻辑上的止境是一个长入的天下模子 —— 一个基础模子大略渲染相片级的确感的视图，产生物理精准的结构，贪图行径序列，并笔据下流浮滥者的需求在输出模态间生动切换。

然则仍有诸多费劲挑战需要面对。数据环境不平衡 —— 渲染器领有充足的互联网视频，而模拟器和贪图器靠近 3D 钞票和机器东说念主演示的严重缺少。优化视觉好意思感可能捐躯机器东说念主或高保真模拟所需的精准性。在单一架构内团结这些张力是刻下天下模子计划的界说性绽开问题，也恰是 World Labs 在不绝发展 Marble 时奋发于科罚的课题。

明确的主张

自上世纪八十年代末以来，业界一直在押注一个假定：有余丰富的天下模子是任何智能体不雅察天下、构建天下和作用于天下所需的一起。现在，这个「大赌注」正在驱动整个这个词新一代的计划。

赋予这个「大赌注」重量的是一经在进行中的经管：三条陈迹 —— 每一条齐在沉寂激动和塑造着数十亿好意思元的产业 —— 起初是沉寂的计划技俩，现在运转进展得像是一个全体。当它们的规模运转坍弛时，将重塑某种更弘远的东西：机器智能与其所栖身的物理天下之间的关系 —— 空间智能的经久演进。

讲话赋予了机器计划天下的才略。而天下模子尊龙凯时app官方2026最新版下载，则是机器最终来领略、想象、推理和与天下互动的方式。