Latest / The Long View / 特别篇 · 世界模型（彩蛋）— 研究方法、JEPA 血统、Sora 物理失败与未来 24 个月

Transcript

特别篇 · 世界模型（彩蛋）— 研究方法、JEPA 血统、Sora 物理失败与未来 24 个月 · The Long View

0:00
欢迎收听The Long View。
0:01
w。
0:01
今天是一期彩蛋集，接着昨天那期世界模型特辑往下讲。
0:07
如果你听过昨天那期，应该已经对世界模型这件事有了一个骨架—它和L L M不是同一种东西，
0:15
它预测的是状态不是token，前沿现在分成四个押注完全不同的阵营。
0:22
那一期我用了大约十八分钟，照着wiki的整理稿讲了一遍。
0:28
但是讲完之后我做了一件后续—把同样的素材，
0:32
结合更多的一手论文、产品博客、和这一年来的批评性研究，
0:38
重新写了一份系统的研究报告。
0:41
这份报告有十四个章节，比wiki那个版本厚出一倍，
0:45
结构更接近一份给投资人看的行业分析，
0:49
但内容是给愿意打开a r x i v的人写的。
0:53
那这一期就专门讲那份报告里、上一期没有讲到、
0:57
或者讲得太快的几块。
0:59
具体讲六件事—第一，写这份报告时我自己用的是什么方法，
1:05
为什么这件事值得花一期的时间专门复盘。
1:09
第二，世界模型的认知科学家底—Craik、
1:13
Kahneman、Friston这三条线是怎么连起来的，
1:17
为什么这关系到你怎么读今天那些产品博客。
1:22
第三，J E P A那套东西的技术血统—E M A target encoder r 不是LeCun凭空想出来的，
1:29
它继承自B Y O L和D I N O。
1:34
这一段对工程师朋友有用。
1:37
第四，Sora那场"它到底会不会学到物理"的争论，
1:41
里面有一个非常具体的实证发现，叫"颜色优先、
1:45
其次大小、再次速度、最后形状"。
1:49
这个层级是什么意思，它为什么直接挑战OpenAI的scaling哲学。
1:55
第五，未来十二到二十四个月，这条路线最值得盯的五个具体节点。
2:00
这是报告第十二节的内容，是上一期完全没有讲的。
2:05
第六，这份报告自己的局限—也就是为什么我要在结尾专门写一节叫"本报告的局限性"，
2:13
把自己的盲区摆出来。
2:15
这一段更哲学一点，但对于怎么读A I行业的所有报告，
2:20
都用得上。
2:22
听完这一期，你对世界模型的认知应该会比上一期再硬一格。
2:26
如果你没听上一期也没关系，这一期会自洽。
2:31
下面开始。
2:32
接下来先讲第一件事—研究方法。
2:36
为什么要专门讲这个？
2:37
因为A I行业现在每天都在出"报告"—卖方报告、
2:42
咨询公司报告、播客专题、L L M总结。
2:46
绝大部分这些东西的问题不是结论错，而是它们说不清楚自己的素材边界在哪里。
2:53
一份报告如果不告诉你它读了几篇论文、
2:56
cutoff是哪一天、哪几个公司因为不公开所以它讲不了—你就没法判断它的盲区。
3:03
我这份关于世界模型的研究报告，方法是这样的—起点是五月二十一号 M I T Technology Review w 的那期订阅者圆桌，
3:13
标题叫叫"Can A I Learn to Understand the World?
3:16
?
3:16
"。
3:16
"。
3:17
但报告没有止步于那一期视频。
3:19
素材向外扩展到三类—第一类，基础论文。
3:23
包括Ha和Schmidhuber二零一八年那篇World Models，
3:27
s，LeCun二零二二年的位置论文，
3:30
Meta的I-J E P A、V-J E P A、
3:34
V-J E P A2这一串。
3:36
第二类，产品发布。
3:38
DeepMind二零二五年八月的Genie3发布博文，
3:42
Nvidia二零二五年一月以来的Cosmos系列发布稿，
3:46
World Labs二零二五年十一月发布的Marble，
3:50
还有LeCun二零二六年初的A M I Labs融资报道。
3:55
第三类，批评性的实证研究。
3:57
这是最关键的一类—多篇二零二五到二零二六年间发表的论文，
4:03
专门测试Sora这种视频生成模型有没有真的学到物理。
4:08
总共十四篇主要的一手和二手资料，cutoff是二零二六年五月二十五号。
4:16
这里面有一个清楚的偏差需要说明—这份报告完全依赖公开披露的信息。
4:22
但有几家公司，它们其实有非常重要的内部世界模型研究，
4:27
公开资料根本看不到。
4:29
最典型的—OpenAI的Sora第二代，
4:32
特斯拉F S D的内部世界模型架构，
4:35
Wayve自己那套driver model的训练细节。
4:39
这些都是行业里真正决定胜负的研究，但没有人在外面公开。
4:45
所以这份报告，对发布派的公司给的笔墨比较多，
4:49
对闭源派的几家公司只能根据已知线索做推断。
4:54
这不是疏忽，是边界。
4:56
为什么要把方法和边界摆出来？
4:59
因为A I这个领域，事情变得太快。
5:02
三个月之后，这份报告里关于某家具体公司的某个技术细节可能就过时了。
5:09
但是"它当时是基于哪十四篇资料、cutoff是哪一天、
5:15
它的盲区在哪里"—这些信息是不会过时的。
5:19
读者三个月后再来翻这份报告，可以自己判断哪一段还成立，
5:24
哪一段需要更新。
5:26
这是一份能"老去"得有尊严的报告。
5:29
讲完方法，下面进入第二件事—世界模型的认知科学家底。
5:35
上一期我提到Craik一九四三年在 The Nature of Explanation n 里说过大脑跑着一个"小尺度模型"。
5:43
也提到了Kahneman的System2本质上是一个模拟器。
5:48
还提到了Friston的预测编码。
5:50
但这三条线我是各说了一句就过。
5:53
这一期把它们串起来，因为这条认知科学线索是判断世界模型这件事"到底新不新"的关键。
6:02
Craik这一条最早。
6:03
一九四三年—注意这是计算机还没真正诞生、
6:07
神经网络这个词都没普及的年代—Kenneth Craik在他那本 The Nature of Explanation n 里就提出，
6:14
所谓解释，本质是脑子里建一个外部现实的"小尺度模型"—他用的英文是small-scale model—然后在这个模型里"先试一遍各种可能"，
6:26
再去现实里行动。
6:28
这话听起来很直白，但是它把"理解"这件事重新定义了—理解==能在脑子里模拟。
6:35
不是能说出来，不是能记住，是能模拟。
6:39
接下来七十年，认知科学一点一点把这个直觉落实。
6:44
Kahneman那本《思考，快与慢》—大众读得最多的认知心理学书—里讲的System2，
6:52
结构上就是一个慢速、自觉、可控的内在模拟器。
6:58
你想象一下"如果我现在递辞职信会发生什么"—这个动作就是System2在跑一段世界模型的rollout。
7:07
到了Karl Friston这一代，
7:09
事情被推到神经元层面。
7:12
Friston的预测编码理论—free energy principle—大致是说，
7:16
大脑不是被动地接收感官信号，它是反过来—持续地预测下一秒钟感官会接收到什么，
7:25
然后把"预测和实际之间的差"作为最重要的学习信号。
7:30
换句话说，大脑活动的主要内容不是"看见x"，
7:33
而是"我刚才预测的x和真实的x差多少"。
7:37
每一个神经元尖峰，都在编码一份预测误差。
7:42
这三条线—Craik、Kahneman、
7:44
Friston—给世界模型这件事提供了一个非常硬的合法性基础。
7:50
LeCun和Hassabis这几位讲世界模型的时候并不是在发明一个新概念，
7:56
他们是在说—大脑的核心算法可能就是这个，
8:00
那么人工智能要走到下一阶段，应该把这个核心算法实现出来。
8:06
这就把"world model到底新不新"这个问题翻了个面—它不是新概念，
8:11
是A I这一波终于追上了认知科学七十年前就提出过的猜想。
8:17
这个判断重要在哪里？
8:18
它解释了为什么这一拨人—LeCun、
8:22
Hassabis、Fei-Fei Li—愿意把后半生压在这条路上。
8:27
他们不是在赌一个工程趋势，他们是在赌一个有几十年认知科学背书的硬假设—智能==模拟+行动。
8:37
这个赌注的下限比"再让L L M scaling一轮"要硬得多。
8:42
下面讲第三件事—J E P A的技术血统。
8:46
J E P A上一期已经讲过它的工作方式—拿一对相关输入，
8:50
分别过两个共享底层的编码器，一个出s underscore x，
8:55
x，一个出s underscore y，
8:57
y，让一个小预测器从s underscore x出发预测s underscore y。
9:03
y。
9:04
损失是预测值和真实值之间的均方误差，
9:07
但是对真实值要stop gradient—也就是 stop underscore gradient—防止训练崩溃。
9:15
这里有一个上一期一笔带过的细节—target encoder的参数不是和context encoder共享的，
9:22
它是context encoder的E M A副本—exponential moving average，
9:27
e，指数滑动平均。
9:30
也就是说，target encoder的参数等于context encoder当前参数和它自己上一步参数的加权平均，
9:38
权重大约是0.9990.9990.9990.9990.999比0.0010.0010.0010.0010.001。
9:43
每一步训练，target encoder都极其缓慢地跟着context encoder漂。
9:49
为什么需要这种结构？
9:51
为什么不能让context和target共享一份参数？
9:55
因为如果共享，模型有一个trivial solution—把所有输入都编码成同一个常数向量。
10:03
这样损失永远是零。
10:05
这就是自监督表征学习里那个臭名昭著的的"representation collapse"—表征崩溃。
10:12
E M A target encoder r 是绕过这个崩溃的标准招式。
10:17
这一招不是LeCun想出来的。
10:19
它继承自二零二零年DeepMind的B Y O L—Bootstrap Your Own Latent—和同一年Meta自己的D I N O。
10:28
这两篇都是图像自监督学习的里程碑，BYOL第一次证明了"不需要negative samples就能避免崩溃"，
10:36
DINO把这套用在 Vision Transformer r 上做出了惊人的zero-shot分割效果。
10:42
所以J E P A的血统是这样的—它是把B Y O L和D I N O的双编码器加E M A target加stop-gradient的那一整套自监督训练机制，
10:54
从单帧图像表征学习，推广到了"用一片图像区域预测另一片图像区域"—I-J E P A—再推广到"用一段视频时空块预测另一段视频时空块"—V-J E P A1和2。
11:10
讲这个细节的意义在于—J E P A不是"LeCun拍脑袋的新架构"。
11:16
它是过去六七年自监督表征学习这一整条技术线索的一个自然延伸。
11:22
这条线索本身是work的，BYOL和DINO都拿到了过ImageNet上的SOTA。
11:29
J E P A把它推到了视频和动作。
11:32
V-J E P A2这边还有一个细节值得拎出来—progressive resolution schedule。
11:38
e。
11:38
中文叫渐进式分辨率训练。
11:41
意思是，训练初期，clip长度短，空间分辨率低；
11:46
训练越往后，clip长度越长，分辨率越高。
11:50
这是一个非常工程化的小招，目的是用更少的算力跑过"早期模型还很笨，
11:56
不需要看高分辨率长视频"的阶段。
12:00
把那段省下来的算力，用在模型变聪明之后处理更复杂的输入上。
12:06
这种schedule一旦做对，能把训练总开销降一个数量级。
12:10
在16-frame16-frame16-frame16-frame之上的窗口能跑通，
12:13
主要靠这一招。
12:15
行业里这种"我把成熟的自监督训练trick嫁接到一个新数据形态上"的工作，
12:21
往往被低估—因为它不像新架构那么有故事。
12:26
但它实际产出的工程效率，是frontier模型能不能跑通的关键。
12:31
下面讲第四件事—Sora的物理失败到底长什么样。
12:36
上一期我说，多篇二零二五到二零二六的研究批评Sora没有真的学到物理，
12:42
并且引了一句结论—naively scaling is insufficient for video generation models to discover fundamental physical laws—粗暴扩大规模不足以让视频生成模型发现底层物理定律。
12:57
这一期把那个结论背后的具体发现讲一下。
13:00
研究者们做的事情—构造一系列简单的物理场景，
13:04
看视频生成模型能不能生成正确的后续帧。
13:08
比如—玻璃杯落地会不会碎，碎了的玻璃片飞行轨迹是否服从重力，
13:15
食物被咬一口之后体积和形状的变化对不对，
13:19
球被一只手挡住再露出来之后是不是同一个球，
13:24
多个相似物体在同一画面里运动时模型会不会跟丢或者把它们融合在一起。
13:31
测下来Sora这一类模型表现是这样的—它们对"颜色"这个特征学得非常准。
13:37
生成的玻璃就是玻璃的颜色，食物就是食物的颜色。
13:42
其次是"大小"—大体上对，至少不会把一个苹果生成得有桌子那么大。
13:49
再次是"速度"—大致正确，至少东西不会原地不动或者瞬移。
13:55
最差的是"形状"—具体形状的演化，比如玻璃碎裂的形态、
14:00
食物被咬掉一块的形状变化、被遮挡再现的物体形状是否一致—这一块系统性地错。
14:07
研究者把这个总结成一个特征学习层级—颜色优先、
14:12
大小其次、速度再次、形状最后。
14:16
color first, size second,
14:18
speed third, shape last。
14:20
t。
14:21
这个层级为什么是个大新闻？
14:23
因为它告诉你，视频生成模型学到的不是物理因果关系，
14:27
是统计相关性的一个层级。
14:30
模型在训练数据里看到"红色物体出现的频率"—这是个很强的统计信号，
14:36
学得快。
14:37
"物体在画面中的相对大小"也是相对稳定的统计信号，
14:42
学得也比较快。
14:44
但是"两个物体碰撞之后形状如何变化"—这是一个真正的因果链，
14:50
需要的不是统计相关性，是物理规律。
14:54
这一块视频生成模型学不到。
14:57
这个发现直接挑战了OpenAI的核心claim—scaling走到底，
15:02
物理会自动涌现。
15:04
如果失败模式是系统性的、和颜色 / 大小 / 速度 / 形状这种特征复杂度严格对应的—那么scaling只会让模型在前几个特征上更准，
15:15
并不会让它跨过那道从统计到因果的鸿沟。
15:20
LeCun这一派的论点正是从这里出发—视觉生成做得再像，
15:25
本质还是高维分布拟合。
15:29
要让模型真的"懂物理"，需要的是一个能预测、
15:33
能反事实、能被规划循环调用的预测器—也就是J E P A那种架构。
15:40
这个争论二零二六年内能不能见分晓？
15:43
我的判断是—很可能见。
15:46
Sora3一旦出来，会被独立研究者放在同样的玻璃破碎、
15:51
食物咀嚼、物体遮挡这套测试上跑一遍。
15:55
结果如果还是颜色 / 大小 / 速度 / 形状这个层级—那scaling假设就实质性地输了。
16:02
结果如果在"形状"那一格上有质的突破—那LeCun这一派就要严肃应对了。
16:09
这是这个赛季里最值得盯的一个实证节点。
16:13
下面讲第五件事—未来十二到二十四个月，
16:18
最值得盯的五个具体节点。
16:20
这是研究报告第十二节的内容，是上一期完全没有讲的。
16:27
第一个节点，L L M接在世界模型上面的产品，
16:31
预计二零二七年中之前会出现在量产环节里。
16:35
这个架构上的整合，在二零二六年已经在原型阶段—V L A模型，
16:41
也就是 Vision-Language-Action，
16:43
n，已经有几个团队在做。
16:45
最先看到这种stack出现在真正出货的产品里，
16:49
大概率是自动驾驶—Wayve、特斯拉、
16:53
Comma这几家—和家用机器人—1X、
16:56
Figure、Physical Intelligence e 这几家。
17:00
具体表现形式—L L M接收用户的自然语言任务，
17:04
把任务拆解成中间目标；
17:06
下面那一层世界模型负责预测每个动作的物理后果，
17:11
做M P C规划；
17:13
执行器只是最后一公里。
17:15
看到第一款宣传时强调"我们用的不只是L L M，
17:20
下面有一层 spatial reasoning""的量产车或者机器人，
17:24
就是这个stack上岸的标志。
17:26
第二个节点，前面那个Sora物理实证测试—latent派vs pixel派—大概率在二零二六年年底之前有阶段性结论。
17:37
在机器人控制benchmark上，V-J E P A这种隐空间预测路线和Sora、
17:43
Cosmos这种像素生成路线，在同等算力下，
17:47
哪一家更强—这个数字会被打出来。
17:51
我的下注权重—隐空间预测在控制类任务上会赢；
17:55
像素生成在内容、游戏、模拟环境这些任务上保持优势。
18:01
但这不是"一个赢家通吃"，是"两个赛道分头打"。
18:06
第三个节点，Nvidia的Cosmos平台，
18:08
会成为非前沿实验室的机器人开发默认基底。
18:13
逻辑和CUDA一模一样—CUDA当年不是因为最好用所以赢的，
18:18
是因为它来得早、生态完整、和硬件绑死，
18:22
长尾客户没有选择。
18:24
Cosmos在做同一件事—它对小一些的机器人公司、
18:29
自动驾驶初创、工业机械臂厂家，会变成一个"反正你也得买Nvidia卡，
18:35
不如直接用我配套的世界模型"的选项。
18:39
看到非前沿实验室的产品发布稿里开始大面积写"基于Nvidia Cosmos训练"—这就是它形成默认地位的标志。
18:49
第四个节点—刚才那个Sora3物理benchmark—是OpenAI scaling哲学的成败考。
18:55
这一个节点的影响最大，因为OpenAI在过去五年是scaling哲学的主要受益者和宣传者。
19:04
如果Sora3拿不出物理benchmark的突破，
19:07
意味着scaling哲学要被迫承认—它在文本上是work的，
19:11
但在物理上不work。
19:14
OpenAI接下来要么得收购或者孵化一个J E P A风格的团队，
19:19
要么得让Sora转向某种混合架构。
19:23
无论哪条路，对它整个公司的叙事都是一次重塑。
19:27
值得插一句—五月份OpenAI那个让模型自主证明一九四六年Erdős猜想的结果，
19:33
给scaling派提供了新的弹药—"在数学这个抽象领域，
19:38
scaling确实能产生新能力"。
19:41
所以scaling派会找一个对应的物理结果作为下一个里程碑。
19:46
最值得盯的，就是Sora3或者它的后继者能不能在某一类物理任务上拿出一个"scaling让它涌现了"的证据。
19:56
第五个节点，"world model""这个范畴名词本身会分裂。
20:00
今天J E P A、Genie、Sora、
20:04
Cosmos、Marble都自称世界模型，
20:07
但它们做的事情不是一回事。
20:10
随着这几家在产品上各自落地，行业会被迫采用子分类—预测式世界模型 predictive world model l 指J E P A这一派；
20:20
生成式世界模型 generative world model l 指Genie / Sora / Cosmos这一派；
20:27
三维场景模型3D scene model指Marble这一派。
20:32
等你下次看到"world model" " 这个词时，
20:35
得问一句"是哪一种"—这种细分到二零二七年应该是行业默认习惯。
20:42
把这五个节点合起来看，会发现一个pattern—未来一年半，
20:47
世界模型不会有一个戏剧性的"突然A G I"事件，
20:51
但会有五个相对低调的、关键的节点。
20:55
逐个看每一个似乎都不大，加在一起就是这一代A I范式的分水岭。
21:01
如果你的工作和A I沾边—不管是投资、
21:04
产品、技术、还是公司战略—这五个节点是接下来该重点盯的。
21:11
下面讲最后一件事—这份报告自己的局限性。
21:15
也就是为什么我专门用一节叫"本报告的局限性"，
21:19
把自己的盲区摆出来。
21:22
第一个局限叫闭源失明。
21:24
这个词是我自己造的。
21:26
意思是—任何一份基于公开资料的A I行业报告，
21:31
对那几家不公开内部研究的公司—特斯拉、
21:35
Wayve、Waymo、还有OpenAI在Sora这一块—都有一个根本上看不见的盲区。
21:42
这些公司加起来在世界模型领域投入的工程师人数，
21:46
可能比所有公开发表论文的实验室加起来还多。
21:51
但报告里写到他们的部分，几乎全是"根据公开线索推断"。
21:57
这一段必须老实说出来，否则读者会以为报告覆盖了全行业，
22:01
实际上覆盖了一半都不到。
22:04
第二个局限叫"拐点报道"偏差。
22:07
这是新闻业里一个老问题—当一件事开始被频繁报道时，
22:11
关于这件事的报道质量往往是最差的。
22:15
因为大家都在追风口，分析深度不够，独立学术批评跟不上。
22:21
世界模型这个话题刚好处在这个阶段—二零二五年下半年开始爆量，
22:26
到二零二六年五月份达到现在这个媒体强度。
22:31
这份报告里很大一部分素材，是实验室自己的发布博客、
22:35
和带销售目的的供应商分析。
22:39
独立学术批评是有，但比例不够。
22:42
这个偏差的修正大概要等十八个月—等学术界写完那一批冷静的综述论文。
22:49
第三个局限叫日期敏感性。
22:53
第六节里提到的四大实验室里，有三家在报告cutoff之前的七个月内做了重要发布—V-J E P A2是六月，
23:01
Genie3是八月，Marble是十一月，
23:04
Cosmos一直在迭代，AMI Labs的融资是今年初。
23:10
也就是说，这份报告里关于"现在状态"的描述，
23:14
每三个月就会有一部分过时。
23:17
你三个月之后回来看，得自己更新一遍。
23:21
第四个局限叫"没有跑过benchmark"。
23:24
"。
23:24
这份报告里所有引用的实验数字—比如V-J E P A2的77.377.377.377.377.3top1，
23:30
比如Genie3的一分钟一致性—都是各家实验室自己发布的。
23:36
我没有独立复现。
23:38
这不是说他们在撒谎—但同一个benchmark在不同硬件、
23:42
不同数据增强、不同hyperparameter下，
23:45
结果可以差一截。
23:47
读者引用这些数字的时候，应该带着"这是lab报告的数字"这一层caveat。
23:53
为什么要把这四个局限摆出来？
23:56
这其实是一种"知识管理纪律"。
23:59
一份报告如果只有结论没有边界，那它的半衰期很短—三个月后你就不知道哪一块还成立。
24:08
一份报告如果把方法和边界写在前面、把局限写在后面—半衰期会长得多。
24:15
读者三年后翻回来，依然能区分"这一段是当时的事实"、
24:20
"这一段是当时的推断"、"这一段是当时不知道的"。
24:25
这个写法的逻辑可以推广到所有A I行业的分析—你下次读到任何一份"AI趋势报告"、
24:33
"季度展望"、"赛道扫描"，第一件该做的事情是去找它的方法节和局限节。
24:40
如果根本没有这两节—这份报告的可信度，
24:43
至少要打个对折。
24:45
讲完这六件事，我们做一个收尾。
24:49
世界模型这件事，在二零二六年五月这个时点，
24:52
有几个判断可以基本确定下来—第一，这不是单一一个技术，
24:58
是四到五个押注完全不同的技术族系。
25:02
讨论它的时候必须先问"是哪一种"。
25:05
第二，latent派和pixel派的争论会被实证解决，
25:10
不是被辩论解决。
25:11
二零二六年底之前应该有阶段性结论。
25:15
第三，动作标签数据是真正的瓶颈，不是计算，
25:19
也不是被动视频。
25:21
这一点会决定哪一家走到最后。
25:24
第四，OpenAI的scaling哲学正在面对它第一个真正困难的考验—物理学到底会不会从视频生成里涌现。
25:33
Sora3是关键节点。
25:36
第五，LLM不会被替代，但会被"重新定位"—往后大概率是LLM接在世界模型上面，
25:44
语言层管目标和工具调用，世界模型层管物理预测和规划。
25:50
第六，所有这些判断，三个月之内可能就会被某一家新发布修订。
25:56
所以重要的不是记住结论，是记住框架—四个押注分别长什么样、
26:01
争论在哪里、节点在哪里。
26:04
如果你对这个话题感兴趣到愿意自己a r x i v看论文，
26:09
从Ha和Schmidhuber那篇二零一八的World Models开始，
26:13
然后LeCun那篇二零二二位置论文，
26:17
然后V-J E P A2的arxiv2506.099852506.099852506.099852506.099852506.099852506.099852506.099852506.099852506.099852506.099852506.099852506.09985—这三篇按顺序读完，
26:24
你对这个领域的判断力会再上一格。
26:27
Long View特别篇彩蛋集就到这里。
26:30
下一期我们回归日常的四个分类—政治、
26:33
科技与科学、商业与投资、生活。
26:37
今天感谢你听到这里。
26:39
我们下期见。