Latest / The Long View / 2026-05-31 · 特辑｜从 LLM 到 VLA：会看会说会动的模型，差在哪个字母

Transcript

2026-05-31 · 特辑｜从 LLM 到 VLA：会看会说会动的模型，差在哪个字母 · The Long View

0:07
欢迎收听The Long View特辑。
0:09
今天这一期,我们要解决一个很多人—包括很多已经在A I行业里工作的人—都没完全理清的问题:大语言模型L L M、
0:18
视觉语言模型V L M、视觉动作模型V A、
0:23
视觉语言动作模型V L A,还有世界模型,
0:28
这几个词到底有什么区别?
0:30
它们的名字只差一两个字母,但每多一个字母,
0:34
背后都对应一个被攻克、或者仍未攻克的硬核工程问题。
0:39
这一期是给已经在这个行业里、但想把这几个概念的边界彻底厘清的人听的。
0:45
我们从最底层的token和Transformer讲起,
0:48
一路讲到二〇二六年最前沿的V L A是怎么把动作塞进一个语言模型里的。
0:54
先说为什么现在讲这个。
0:56
二〇二五到二〇二六年,机器人和具身智能领域几乎每个月都有新模型发布—Google DeepMind的Gemini Robotics、
1:04
Physical Intelligence e 的Pi零和Pi零点五、
1:08
英伟达的GROOT N一、英伟达在C E S上推的Cosmos世界基础模型、
1:14
还有Meta的V-JEPA二。
1:16
这些发布的新闻稿里反复出现V L A、
1:20
世界模型、基础模型这些词,但几乎没有一篇说清楚它们彼此之间的关系。
1:25
结果是,大量从业者其实是在一团模糊里跟着热点跑。
1:30
这一期就是要把这团模糊彻底拆开。
1:33
我先把今天的核心洞察一句话讲出来,你带着它听后面会清晰很多。
1:37
这几个范式的区别,本质上就是输入和输出里有没有图像、
1:42
有没有语言、有没有动作这三样东西。
1:46
把它们写成条件概率,一切都清楚了。
1:48
大语言模型是在算,给定文字、下一段文字是什么。
1:52
视觉语言模型是,给定图像和文字、输出文字。
1:57
视觉动作模型是,给定画面、输出动作。
2:01
视觉语言动作模型是,给定画面和指令、
2:05
输出动作。
2:06
而世界模型是这里面唯一一个反过来的,
2:09
它算的是,给定当前状态和我要做的动作、
2:12
世界下一刻会变成什么样。
2:15
前四个都是从感知到决策,只有世界模型是在预测世界本身。
2:20
记住这个框架,后面所有的技术细节都会挂在它上面。
2:24
今天的路线图,一共十章。
2:26
第二章我们从最底层讲起,token、
2:30
嵌入、自回归、Transformer,
2:33
这是所有这些模型共同的原子。
2:36
第三章讲历史,语言模型是怎么一步步长出眼睛、
2:40
又长出手的。
2:42
第四章讲L L M到V L M,怎么把一张图、
2:47
一段视频喂进一个本来只懂文字的Transformer。
2:51
第五章是词汇表,十五个你读这个领域的论文必须认识的术语。
2:57
第六章讲V A,视觉动作,那条不要语言、
3:02
直接从画面映射到动作的路线,以及它撞上的三堵墙。
3:06
第七章是全场的核心,V L A,加上语言这座桥之后到底买到了什么,
3:12
以及动作这个东西到底怎么塞进一个Transformer。
3:15
第八章讲世界模型,那个唯一向前预测世界的范式。
3:20
第九章把五个范式放进同一张表,讲清楚二〇二六年真正的技术分歧在哪。
3:26
第十章给你三个值得记一年的判断。
3:30
听完之后你应该能做到,看到任何一个新模型的发布,
3:34
能立刻判断它属于哪个范式、解决了哪个字母的问题、
3:39
还差哪个字母,并且知道它和已有的那些模型到底是竞争关系还是互补关系。
3:46
第二章,原子。
3:48
要理解这些模型的区别,得先有共同的最小单位。
3:53
这一章讲四个原子概念,熟的人当复习。
3:58
第一个是token,中文一般叫词元。
4:01
神经网络不能直接吃文字,它只认数字。
4:04
所以第一步是把一段文字切成一个个小块,
4:07
可能是一个词、半个词、一个标点。
4:11
切完之后,每个小块被映射成一个整数编号。
4:15
这一步叫tokenization。
4:16
记住这个动作—把连续的东西切成离散的小块、
4:20
再编号—它在后面讲V L A怎么处理动作时会原封不动地再出现一次,
4:26
那是整期最关键的一个呼应。
4:29
第二个是嵌入,英文叫embedding。
4:31
光有整数编号不够,模型需要的是能表达意思的向量。
4:36
所以每个token编号会被查表换成一个高维向量,
4:39
比如一千多维到上万维。
4:43
这个向量就是这个token在模型语义空间里的坐标。
4:46
意思相近的token,坐标也相近。
4:49
猫和狗的向量靠得近,猫和微积分离得远。
4:53
embedding是把符号变成几何的那一步。
4:57
第三个是自回归,英文叫autoregressive。
5:00
这是G P T这类模型干活的方式,一次只预测一个token,
5:05
把刚预测出来的接到输入末尾,再预测下一个,
5:09
循环往复。
5:10
本质上整个大语言模型在做的事情,就是反复回答同一个问题—在已经有的这串token后面,
5:17
最可能出现的下一个token是什么。
5:19
它输出的是一个概率分布,覆盖词表里所有几万个token,
5:23
然后采样一个出来。
5:25
听起来简单到不可思议,但这个预测下一个的目标,
5:29
配上足够大的模型和足够多的数据,就长出了我们今天看到的全部能力。
5:35
第四个是Transformer。
5:36
二〇一七年Google那篇《注意力就是你需要的全部》提出的网络结构,
5:41
是今天几乎所有大模型的骨架。
5:44
它的核心机制叫注意力,英文attention。
5:48
处理每个token时,模型会去看序列里所有其他token,
5:51
按相关性加权地从它们身上取信息。
5:54
把注意力的机制再拆细一点,因为后面理解多模态怎么融合,
5:59
全靠它。
6:00
每个token会算出三个向量,query查询、
6:03
key键、value值。
6:06
直观地说,query是我在找什么,key是我能提供什么,
6:10
value是我携带的实际信息。
6:13
模型用每个token的query去和所有token的key做点积、
6:17
算出一组相关性权重,再用这组权重去加权求和所有token的value。
6:23
于是每个token都吸收了全序列里和它相关的信息。
6:28
这里有个对后面至关重要的性质—注意力本身不在乎token是文字、
6:33
是图像小块、还是动作,只要你能把任何东西变成一串向量,
6:38
它们就能在同一个注意力机制里自由地互相看。
6:42
这就是为什么多模态融合在Transformer里如此自然,
6:45
把图像token和文字token拼在一起,
6:48
注意力会自动学会让香蕉这个词去关注画面里香蕉所在的那几个小块。
6:54
这个跨模态的自由互看,是V L M和V L A全部能力的物理基础。
7:01
还要补一个细节,注意力本身是不分先后顺序的,
7:04
打乱token顺序、加权和不变。
7:07
所以Transformer要额外加位置编码,
7:10
把这是第几个token的信息注入进去。
7:13
在图像里这变成这个小块在第几行第几列,
7:17
在视频和机器人里还要加这是第几帧、第几个时间步。
7:23
Transformer的另一个关键优点是高度并行,
7:26
不像循环网络要一个token一个token地算,
7:29
它一次能处理整个序列,这让它能在G P U上高效训练到极大规模。
7:34
再补一句对理解全局很关键的直觉。
7:37
为什么预测下一个token这么一个简单到近乎傻的目标,
7:41
能长出推理、翻译、写代码这么多能力?
7:45
因为要在海量文本上把下一个词预测得足够准,
7:49
模型被迫学会了语法、事实、逻辑、甚至一定程度的推理,
7:54
这些都是准确预测的副产品。
7:56
换句话说,预测得好,本质上要求理解得深。
8:01
这个洞察是整条技术线的灵魂—只要你能把任何一种数据,
8:05
图像、视频、动作,变成一串可预测的token,
8:09
同一套预测下一个的机器,理论上就能在那个模态上同样长出理解和能力。
8:15
机器人领域过去几年所有的努力,某种程度上都是在赌这一条会成立。
8:21
把这四个拼起来—文字被切成token、
8:23
查表变成嵌入向量、送进一摞Transformer层、
8:27
通过注意力反复交换信息、最后自回归地一个一个吐出新token。
8:32
这就是一个大语言模型的全部骨架。
8:35
接下来我们要做的,就是往这个骨架上,
8:38
先加眼睛、再加手。
8:41
第三章,历史,语言模型怎么长出眼睛和手。
8:45
这条技术线的时间轴,大概十年,可以分成四段。
8:49
第一段,纯语言时代,二〇一七到二〇二一。
8:54
二〇一七年Transformer诞生。
8:57
二〇一八年OpenAI出G P T一、
9:01
Google出BERT。
9:03
二〇二〇年G P T三,一千七百五十亿参数,
9:06
第一次让世界看到,只靠预测下一个词、
9:09
规模够大,就能涌现出推理和少样本学习的能力。
9:13
这一段的关键认知是,规模本身就是一种能力来源。
9:18
这个认知后来被原封不动地搬去攻打视觉和机器人。
9:22
第二段,视觉接入,二〇二一到二〇二三。
9:27
关键的一步是二〇二〇到二〇二一年的两件事。
9:32
一是Google的 Vision Transformer,
9:34
,证明了图像也可以切成小块当token、
9:37
直接喂进Transformer,不一定非要用传统的卷积网络。
9:42
二是OpenAI的CLIP,用四亿对图像加文字描述训练,
9:47
让图像和文字落进同一个语义空间。
9:49
这两件事合起来,等于给语言模型铺好了长眼睛的路。
9:54
到二〇二三年,G P T四V、LLaVA这些视觉语言模型成熟,
9:59
模型终于能看图说话了。
10:01
第三段,动作接入,二〇二二到二〇二四。
10:05
这是最难的一步,因为前面两段接入的文字和图像,
10:09
互联网上有的是,而机器人动作这种数据,
10:12
互联网上根本不存在,得靠人一点点采。
10:16
Google二〇二二年底的R T一、
10:18
二〇二三年的R T二,第一次把输出机器人动作这件事接到了Transformer上,
10:24
而且R T二关键地证明了,一个先在互联网上学过、
10:28
再用机器人数据微调的模型,能把互联网知识迁移到动作上。
10:33
二〇二四年Stanford和Berkeley的Open V L A把这套东西开源源,
10:38
Physical Intelligence e 的Pi零用流匹配把动作生成做得更精细。
10:43
V L A这个词,就是在这一段被正式定下来的。
10:48
这段历史的隐藏主角其实不是哪个模型,
10:50
而是数据—谁解决了动作数据的来源,谁就主导这一段。
10:56
第四段,预测世界,二〇二三至今。
10:59
与此同时另一条线在生长,世界模型。
11:04
DeepMind的Genie、Meta的JEPA、
11:06
英伟达的Cosmos,试图让模型不只是感知然后行动,
11:11
而是能在脑子里想象,如果我这么做、世界会变成什么样。
11:16
这一段还远没结束,它是二〇二六年最前沿的战场。
11:21
看这条时间轴,你会发现一个清晰的模式—每一段,
11:24
都是把上一段在语言上验证过的方法论,
11:27
搬到一个新模态上。
11:29
先是文字,然后是图像,然后是动作,现在是对世界本身的预测。
11:35
每搬一次,都要解决这个新模态怎么变成token、
11:38
怎么塞进Transformer的问题。
11:41
第四章,从L L M到V L M,怎么把图像和视频喂进Transformer。
11:47
问题很具体—Transformer只吃token序列,
11:51
可一张图是一大片连续的像素,怎么变成token?
11:55
答案是 Vision Transformer r 的切块法。
11:59
把一张比如二百二十四乘二百二十四像素的图,
12:03
切成一个个十六乘十六的小方块,叫小块,
12:06
英文patch。
12:08
这张图就被切成了一百九十六个小块。
12:10
每个小块拉平、过一个线性层,变成一个向量,
12:14
这就是一个视觉token,和文字token在形式上完全一样了。
12:18
回想第二章那个动作,把连续的东西切成离散小块。
12:23
文字这么干,图像也这么干。
12:25
切完之后,这些视觉token和文字token拼在一起,
12:28
送进同一个Transformer。
12:30
模型于是能同时看着图和文字来预测下一个文字token。
12:35
这就是视觉语言模型V L M的基本原理—输入是图像加文字,
12:41
输出是文字。
12:43
这里有一个贯穿始终的工程取舍要点出来,
12:46
视觉token的数量。
12:47
小块切得越细,token越多,模型看得越清,
12:51
但算力和延迟也越高,因为注意力的计算量随token数量平方增长。
12:57
一张图一百多个token还好,高分辨率图像切下来可能上千个token,
13:03
多张图或者视频就直接爆炸。
13:06
所以从BLIP二的Q Former、
13:08
到各种重采样器,业界发明了一堆办法,
13:12
把几百上千个原始视觉token压缩成几十个信息最浓的token再送进语言模型。
13:19
记住这个视觉token又贵又多、必须压缩的矛盾,
13:22
它在机器人那种要求毫秒级实时响应的场景里会变成生死问题。
13:27
V L M的具体架构,业界主要有三条路线,
13:30
你读论文会反复遇到。
13:33
第一条,双塔对比式,代表是CLIP。
13:37
一个编码器处理图、一个编码器处理文字,
13:40
把两者各自压成一个向量,训练时让配对的图文向量靠近、
13:45
不配对的推远,这个目标叫对比学习。
13:50
具体做法是,一个批次里有N张图和N句描述,
13:53
模型要在N乘N的相似度矩阵里,让对角线上那N个正确配对得分最高、
14:00
其余的错误配对得分最低。
14:02
用四亿对图文这么训下来,图像和文字就被压进了同一个语义空间。
14:07
CLIP严格说不算能生成文字的V L M,
14:11
它更像是给图像和文字建立了一个共享坐标系。
14:15
但它极其重要,后面几乎所有V L M和V L A的视觉编码器,
14:20
都是从CLIP、SigLIP或DINO这类对比和自监督预训练来的。
14:26
它提供的是看懂图里有什么的底层能力,
14:28
而这个能力是免费从互联网图文里学来的,
14:32
不需要任何人工标注。
14:33
这一点记住,它是后面V L A能白嫖互联网常识的源头。
14:39
第二条,拼接式,代表是LLaVA。
14:44
拿一个现成的、冻结的CLIP视觉编码器把图变成视觉token,
14:49
中间加一个小小的投影层把视觉token对齐到语言模型的嵌入空间,
14:54
然后接一个现成的大语言模型。
14:58
训练时主要训那个投影层和微调语言模型。
15:02
这条路线的好处是省钱省数据,你复用了已经训好的视觉编码器和语言模型,
15:09
只需要少量图文对教它们对话。
15:12
二〇二三到二〇二五年绝大多数开源V L M都是这个套路。
15:16
第三条,原生多模态,代表是Gemini、
15:20
还有早期的Chameleon。
15:22
不再是把视觉模块缝到语言模型上,而是从一开始就用图像和文字混合的数据、
15:29
在同一个Transformer里一起训练。
15:32
理论上这种原生方式能学到更深的跨模态关联,
15:36
因为视觉和语言从第一天就在同一个网络里相互塑造,
15:40
而不是后期硬接。
15:42
代价是训练成本极高,只有大厂玩得起。
15:47
这条路线为什么对后面的V L A特别重要?
15:50
因为如果你的模型从设计之初就把不同模态都当成token序列来对待,
15:54
那再多接一种模态,动作,就是自然而然的事。
15:58
这正是Google把Gemini扩展成Gemini Robotics时的思路—动作不过是又一种要预测的token流。
16:06
原生多模态架构,某种意义上是为V L A铺路的。
16:10
顺带厘清一个常被混淆的点。
16:12
我们这里说的V L M,主要指理解型的,
16:15
看图回答问题、看图描述、看图推理,它的任务核心是视觉问答,
16:20
英文简称V Q A,输出永远是文字。
16:24
它和文生图那种生成型模型,比如Stable Diffusion、
16:28
DALL E,是两回事,后者输入文字、
16:32
输出图像,方向相反。
16:34
V L A继承的是理解型V L M那套看懂世界的能力,
16:38
而不是画图的能力。
16:40
这个区分搞清楚,你就不会把会画图的模型误当成通往机器人的那条路。
16:46
到这里我们有了会看会说的模型。
16:48
但它只会说,不会动。
16:50
要让它动,得先认识一批新词。
16:53
第五章,词汇表,读懂这个领域的十五个词。
16:57
第一遍听不用全记住,等你下次在文章里遇到再回来查。
17:02
第一,token,词元。
17:04
模型处理的最小离散单位。
17:06
文字、图像小块、甚至机器人动作,最后都要变成token。
17:11
第二,embedding,嵌入。
17:13
token对应的高维向量,模型里意思的几何表示。
17:18
第三,autoregressive,
17:20
自回归。
17:21
一次预测一个token、循环生成的方式。
17:26
第四,patch,图块。
17:28
把图像切成的小方块,视觉版的token。
17:31
第五五,Vision Transformer。
17:33
用Transformer直接处理图像小块的网络,
17:36
取代了很多场景下的卷积网络。
17:40
第六,CLIP。
17:41
用海量图文对做对比学习、把图和文字对齐到同一空间的模型,
17:46
几乎所有现代视觉编码器的起点。
17:49
第七,投影层,英文projector。
17:53
把视觉token对齐到语言模型嵌入空间的那个小桥梁,
17:57
LLaVA式V L M的关键部件。
18:02
第八,行为克隆,英文behavior cloning。
18:05
让人演示任务、记录看到什么、做了什么动作,
18:09
用监督学习让模型模仿。
18:11
机器人学习最基础的范式。
18:14
第九,远程操控,英文teleoperation。
18:18
人远程操纵机器人采集演示数据的方法,
18:21
是机器人动作数据最主要的来源,因为互联网上没有机器人动作这种数据。
18:27
第十,动作头,或者叫动作专家。
18:30
模型里专门负责输出动作的那部分。
18:32
怎么设计它,是V A和V L A的技术分水岭。
18:37
第十一,动作离散化,又叫分箱。
18:40
把连续的动作值,比如关节转三十七点二度,
18:45
切成有限个区间、变成离散token的做法。
18:48
这是R T二把动作塞进语言模型的关键技巧。
18:52
第十二,扩散策略,英文diffusion policy。
18:56
借用图像生成里的扩散模型,一次性生成未来一整段动作序列,
19:01
比逐步输出平滑鲁棒得多。
19:04
第十三,流匹配,英文flow matching。
19:08
比扩散更高效的一类连续动作生成方法法,
19:12
Physical Intelligence e 的Pi零用的就是它。
19:16
第十四,跨本体,英文cross-embodiment。
19:20
同一个模型能控制不同形态的机器人,机械臂、
19:23
人形、移动底盘。
19:25
Open X-Embodiment是把多个机器人数据集合并训练的著名项目。
19:31
第十五,联合训练,英文co-training。
19:34
训机器人模型时,同时混入大量纯图文问答数据一起训,
19:38
防止模型在学动作时忘掉它从互联网学来的常识。
19:42
这是V L A不退化成V A的关键工程手段。
19:45
好,弹药备齐。
19:47
下面进入正题,动作。
19:49
第六章,V A,视觉动作,那条不要语言的路。
19:53
我们先讲V A,因为只有先看清没有语言的世界长什么样,
19:57
你才能真正理解语言这个字母到底加了什么。
20:02
V A的定义极其干净—输入是画面,可能还有机器人当前状态,
20:06
输出是动作,中间没有语言。
20:09
用条件概率写就是,动作等于给定观测的函数。
20:13
它就是一个从像素到电机指令的直接映射。
20:16
这条路线其实非常古老,比大语言模型早得多。
20:20
一九八九年,卡内基梅隆的Dean Pomerleau做了一个叫ALVINN的项目,
20:26
一个小神经网络,输入是车载摄像头的画面,
20:29
输出是方向盘转角,真的开着一辆车在路上跑。
20:34
这就是最早的V A,看着路、直接给出转向。
20:38
二〇一六年,英伟达的PilotNet把同样的思路用现代卷积网络重做,
20:43
摄像头进、方向盘出,端到端,中间没有任何这是车道线、
20:49
那是行人的显式语义。
20:51
Comma点A I、以及早期的特斯拉Autopilot,
20:55
骨子里都是这个范式的放大版。
20:58
到了机器人操作领域,V A的现代形态就是第五章说的行为克隆加扩散策略。
21:05
人通过远程操控演示抓起杯子放到架子上几百次,
21:09
记录每一帧画面和对应动作,训一个网络,
21:12
看到这个画面、输出这个动作。
21:15
这里有一个困扰行为克隆几十年的根本难题,
21:18
值得讲清楚,因为它直接催生了后来的关键技术,
21:22
叫协变量偏移,或者叫复合误差。
21:26
问题是这样,模型只见过人类演示里那些正确的状态。
21:30
可一旦它自己上手,难免出一点小偏差,
21:33
进入一个演示数据里从没出现过的状态,
21:36
比如手稍微偏了一点。
21:39
在这个陌生状态下它不知道怎么办,于是又错一点,
21:43
越错越偏,误差像滚雪球一样累积,最后彻底失控。
21:48
二〇一一年提出的DAgger算法试图缓解,
21:50
让专家在模型犯错的状态下补充演示。
21:54
而二〇二三年的两项工作从另一个角度解决了它,
21:57
一是Toyota和哥伦比亚的扩散策略,
22:00
二是Stanford的动作分块Transformer,
22:04
简称A C T。
22:06
它们的共同思路是动作分块,不再每一步只预测一个动作,
22:10
而是一次性预测未来一整段动作序列,比如未来一秒、
22:15
几十步,然后执行其中一段再重新预测。
22:18
这样做误差不容易逐步累积,动作也平滑得多。
22:22
扩散策略具体是借用图像生成里的扩散模型,
22:25
从一团随机噪声出发,在动作空间里反复去噪,
22:30
最终生成一整段连贯动作。
22:32
这个看似来自图像生成的技巧,意外地成了今天几乎所有机器人策略层的标配。
22:38
Google二〇二二年的R T一严格说也偏V A,
22:41
它有三千五百万参数,在十三万条演示上训练,
22:45
能做七百多种任务,也能听简单指令,但本质还是在一个封闭任务集合里做画面到动作的映射,
22:53
语言的作用很弱、泛化也仅限于训练分布之内。
22:57
V A很有用,今天大量产线机器人、扫地机器人、
23:01
自动驾驶的底层控制,都是V A。
23:03
但它撞上了三堵墙,这三堵墙正好解释了为什么需要语言。
23:09
第一堵墙,不会听指令。
23:11
一个纯V A模型学会了抓杯子,你没法用一句把左边那个红杯子拿给我去指挥它。
23:18
它的输入里压根没有语言这个通道。
23:21
你想让它做新任务,只能重新采数据、重新训练。
23:26
每一个任务都是一座孤岛。
23:28
第二堵墙,没有常识,泛化极差。
23:31
V A模型只知道它演示数据里出现过的东西。
23:34
训练时见过白杯子,换个透明玻璃杯它可能就抓空。
23:40
它没有从互联网上学到的杯子是什么、什么东西能装水、
23:44
易碎品要轻拿这类常识,因为它的训练信号里只有像素和动作,
23:49
没有任何关于世界的语义知识。
23:52
它学到的是这片像素对应这个动作的统计关联,
23:55
而不是理解了杯子所以会拿杯子。
23:58
第三堵墙,数据孤岛,无法共享。
24:01
我为抓杯子采的数据,对你训叠衣服几乎没用。
24:05
每个任务、每种机器人,数据都得从头采。
24:10
而机器人动作数据是这个星球上最贵的数据之一,
24:13
必须靠人真实操控真实机器人一次次采,
24:16
没法像文字图片那样从互联网上爬。
24:19
这堵墙是最致命的—互联网上有海量文字、
24:22
海量图片,但没有海量机器人动作。
24:25
这就是为什么机器人的G P T时刻一直难产。
24:28
这三堵墙,墙墙都指向同一个缺失的东西,
24:31
语言,以及语言背后那个从互联网学来的庞大语义知识库。
24:36
下一章我们就加上它。
24:39
第七章,V L A,加上语言这座桥。
24:42
视觉语言动作模型V L A,定义是,
24:47
输入是画面加一句自然语言指令,输出是动作。
24:53
条件概率写法,动作等于给定观测、并且给定语言指令。
24:58
和V A比,只多了一个L。
25:01
但这个L买到了两样东西,分别拆掉了上一章的三堵墙。
25:05
第一样,指令通道。
25:07
有了语言输入,你终于能用一句话指挥机器人,
25:10
而且能让同一个模型做成百上千种任务,
25:13
任务由指令区分,而不是由不同的模型区分。
25:17
第一堵墙倒了。
25:19
第二样,也是更深刻的一样,互联网语义知识的迁移。
25:23
这是V L A真正的魔法,得讲清楚机制。
25:27
V L A不是从零训一个懂语言的模型,
25:30
而是拿一个已经在整个互联网上预训练好的视觉语言模型当骨架,
25:35
再教它输出动作。
25:36
这意味着模型在学动作之前,就已经通过V L M预训练知道了恐龙长什么样、
25:42
香蕉是黄的、易碎是什么意思、左边右边是什么空间关系。
25:48
Google二〇二三年的R T二第一次惊艳地展示了这一点。
25:52
你对它说把香蕉拿给恐龙,即使训练的机器人演示数据里从来没有任何恐龙,
25:58
它也能做对。
26:00
再比如,我要锤钉子、把桌上哪个东西递给我,
26:03
它会去拿那块石头,因为它从互联网知道石头硬、
26:08
能当锤子用。
26:09
这种推理能力,在纯V A模型里是不可能出现的。
26:15
原因在于,恐龙、石头能当锤子这些概念不是从机器人数据学的,
26:20
是从互联网图文预训练里来的,然后通过共享的表示空间迁移到了动作输出上。
26:27
这个迁移为什么能成立,值得再深一层。
26:30
关键在于第二章讲的注意力。
26:33
在一个把图像token、语言token、
26:35
动作token拼在同一个序列里的Transformer里,
26:39
恐龙这个语言概念、画面里恐龙那几个小块、
26:42
以及伸手过去这个动作,全都活在同一个表示空间、
26:46
通过同一套注意力相互连接。
26:49
所以当模型在海量互联网数据里学会了恐龙和它的视觉样子的关联之后,
26:54
再用少量机器人数据教它伸手抓取这个动作语法,
26:58
这两部分知识会在共享表示里自动接通。
27:01
这就是V L A对V A的根本超越—它把互联网级的语义知识,
27:06
通过一个共享的表示空间,接到了机器人的手上。
27:09
第二堵墙,没有常识,倒了。
27:13
而第三堵墙,数据孤岛,也被部分缓解,
27:17
因为大量世界常识是从免费的互联网数据来的,
27:21
机器人动作数据只需要补上怎么把意图变成关节运动这最后一公里。
27:28
这就是为什么同样多的机器人演示数据,
27:30
喂给V L A能泛化、喂给V A只能死记硬背。
27:34
但这里有一个绕不过去的硬核工程问题,
27:37
也是整期最该听懂的一段。
27:39
语言模型吐的是离散token,机器人要的是连续动作,
27:43
一个关节要转三十七点二四度这种实数。
27:47
怎么让一个只会吐token的Transformer输出连续动作?
27:50
这个动作表示问题,是V L M和V L A之间真正的技术鸿沟,
27:55
业界有三条解法。
27:58
第一条,离散化,把动作变成token,
28:01
代表是R T二。
28:03
还记得第二章那个反复出现的动作吗,把连续的东西切成离散小块编号。
28:09
这里第三次出现了。
28:11
R T二把每一个动作维度,比如机械臂在某个方向移动多少,
28:15
的取值范围切成二百五十六个区间,每个区间给一个编号,
28:19
于是转三十七度就变成了一个离散token,
28:22
和文字token共用同一套词表。
28:25
这样一来,输出动作和输出文字在模型看来是同一件事,
28:29
都是自回归地预测下一个token。
28:31
优雅极了,复用了语言模型的全部机器。
28:35
代价是精度受限于区间粒度,而且一次一个token地吐动作,
28:40
对实时控制偏慢。
28:42
关于离散化还有一个更聪明的升级值得一提。
28:45
Physical Intelligence e 后来提出的FAST,
28:47
不在原始动作空间分箱,而是先对一整段动作序列做类似J P E G那样的频域压缩,
28:54
再在频域上离散化。
28:56
为什么这么绕?
28:57
因为机器人高频控制下,相邻时间步的动作高度相关、
29:01
信息冗余,直接在时域分箱会产生大量重复token、
29:05
序列长得离谱。
29:06
频域压缩能把一段动作用少得多的token表达,
29:10
既保住了动作即token、复用语言模型的优雅,
29:14
又解决了高频精细动作的效率问题。
29:18
这是离散化路线在二〇二五年的最新形态。
29:22
第二条,连续动作头加扩散或流匹配,代表是 Physical Intelligence e 的Pi零。
29:28
不把动作离散化,而是在V L M骨架后面接一个专门的动作专家模块,
29:34
用扩散或者流匹配的方式,一次性生成未来一整段连续动作序列,
29:40
比如未来五十个时间步。
29:42
流匹配你可以理解成扩散的一个更直接、
29:45
更高效的近亲,扩散要走几十步去噪,流匹配学的是一条从噪声直达目标动作的流,
29:52
采样步数少得多,因此能跑到更高的控制频率。
29:56
这条路线的动作更精细、更平滑、频率更高,
29:59
适合叠衣服、装家具、打包鸡蛋这种精细操作。
30:03
代价是架构更复杂,不再是纯粹的一个Transformer吐token。
30:08
Pi零点五在此之上又加了长程任务和开放世界泛化能力。
30:12
值得注意的是Pi零的主干用的是Google的PaliGemma这个开源V L M,
30:17
又一次印证了站在V L M肩膀上是V L A的标准打法。
30:22
第三条,双系统,快慢分离,代表是英伟达的GROOT N一和Figure的Helix。
30:28
受认知科学系统一、系统二启发,一个大的、
30:32
慢的V L M负责高层理解和规划,这是系统二,
30:36
看懂场景、理解指令、想清楚该干嘛,一个小的、
30:42
快的网络负责毫秒级的实时动作生成,这是系统一,
30:46
把规划变成平滑的电机指令。
30:48
GROOT N一是这个架构,Figure的Helix用一个七十亿参数大模型配一个八千万参数小模型,
30:56
也是这个思路。
30:58
这解决了第四章提到的实时性矛盾,大模型太慢没法实时控制,
31:02
小模型不够聪明没法理解复杂指令,那就让它们分工协作。
31:08
再把这个系统一系统二多讲一句,因为它不只是工程取巧,
31:12
而是触及了一个深层矛盾。
31:15
大语言模型骨架越大越聪明、理解指令和场景越强,
31:19
但也越慢,一个七十亿参数的模型跑一次推理可能要几百毫秒,
31:24
而机器人控制回路要求每秒几十到上千次,
31:28
也就是每隔一两毫秒就得出一个新动作。
31:32
这两个需求直接打架。
31:33
双系统的解法是,让大模型以低频,比如每秒几次,
31:38
输出一个潜在指令或者中间目标,让小模型以高频把这个目标插值成平滑的实时动作。
31:47
这其实是机器人智能绕不开的一个物理约束—聪明和实时不可兼得,
31:52
只能分层。
31:53
你以后看到任何机器人模型宣称既能复杂推理又能高频控制,
31:58
第一反应就该是去找它的分层结构在哪。
32:02
还有一个不写进架构图、但决定V L A成败的工程手段,
32:06
联合训练。
32:07
如果你只用机器人动作数据去微调那个V L M,
32:10
它会很快忘掉从互联网学来的常识,这个现象叫灾难性遗忘,
32:16
退化成一个更聪明点的V A。
32:19
所以训练时必须同时混入大量纯图文问答数据,
32:22
一边学动作、一边复习常识,模型才能保住那个语义知识库。
32:28
R T二当年就是把机器人数据和原始的视觉问答数据按比例混在一起训,
32:34
才保住了恐龙香蕉那种泛化。
32:37
这就是为什么Open V L A、A、
32:39
Pi零这些模型训练时都极其讲究视觉问答数据和机器人数据的配比。
32:46
说到底,保住那个L,需要持续的工程努力,
32:49
不是加上去就一劳永逸的,这也再次说明V A和V L A之间隔的不是一个输入接口,
32:58
而是整套训练哲学。
33:00
把这一章的机制串成一个端到端的例子,
33:03
你就彻底拿住了。
33:04
你对一台V L A机器人说,把红色的杯子递给我。
33:08
第一步,这句话被切成文字token,
33:11
同时机器人的相机画面被切成几百个小块、
33:15
压成几十个视觉token。
33:17
第二步,文字token和视觉token拼成一条序列,
33:21
送进那个从互联网预训练来的V L M骨架。
33:25
第三步,注意力开始工作,红色、杯子这两个词的token去画面里搜索,
33:31
锁定那几个对应红杯子的小块,模型于是知道了目标在画面哪个位置、
33:36
它是个能抓的杯子,这部分常识来自互联网预训练,
33:40
不是机器人数据教的。
33:42
第四步,这个融合后的理解被交给动作部分,
33:45
要么是离散化路线吐出一串动作token,
33:49
要么是流匹配的动作专家生成未来一秒的连续轨迹。
33:54
第五步,如果是双系统,大模型给出伸向红杯子这个高层目标,
33:58
小模型以高频把它变成平滑的关节指令。
34:02
第六步,机器人执行其中一小段,相机画面更新,
34:06
整个循环重新跑一遍。
34:08
整个过程里,语言负责锚定目标和调取常识,
34:12
视觉负责定位,动作部分负责把意图翻译成电机指令,
34:17
三个字母各司其职。
34:20
把这个六步循环记住,你就拥有了拆解任何V L A系统的解剖刀。
34:25
还有一个V A里没怎么强调、到了V L A变得极其重要的概念,
34:30
跨本体。
34:31
不同机器人的关节数、自由度、动作范围都不一样,
34:34
一个机械臂和一台人形机器人的动作根本不是一回事。
34:38
但二〇二三年的Open X-Embodiment项目做了件大事,
34:41
把全球二十多家机构、二十多种不同机器人的数据,
34:45
近百万条轨迹,统一格式、合在一起训练,
34:50
证明了在多种机器人上联合训练出来的模型,
34:53
比在单一机器人上训的更强、还能迁移到新本体。
34:57
这是机器人版的数据规模化第一次真正奏效。
35:02
它的工程关键是动作空间的归一化,把不同机器人五花八门的动作统一到一个可比的表示里。
35:08
Open V L A就是在这个数据集上训出来的,
35:11
这也是为什么它能成为开源社区的基线。
35:15
代表模型快速过一遍,你听新闻时好对号入座。
35:19
Google的R T二、Gemini Robotics走原生多模态那条路,
35:24
把动作当作一种语言直接交给Gemini。
35:27
Stanford与Berkeley开源的Open V L A有七十亿参数,
35:32
在近百万条Open X-Embodiment数据上训练,
35:35
骨架是Prismatic这个V L M,
35:38
具体是Llama二语言模型配上DINO加SigLIP双视觉编码器,
35:44
动作走离散化路线,它的意义是让没有Google资源的实验室和创业公司也能上手V L A。
35:51
Physical Intelligence e 的Pi零、
35:54
Pi零点五走流匹配连续动作路线,公司估值一度冲到百亿美元。
36:00
英伟达的GROOT N一想做人形机器人的通用大脑、
36:04
卖给所有本体厂商,走双系统架构。
36:07
Figure的Helix用大模型配小模型的双系统做实时控制,
36:11
特斯拉Optimus则复用自家自动驾驶F S D的视觉栈、
36:16
吃它积累的几十亿英里数据。
36:19
它们范式相同,区别主要就在刚才那三条动作表示路线、
36:23
以及双系统还是单一模型的选择上。
36:26
你看,一旦抓住V L M骨架、动作表示方案、
36:30
是否双系统这三个变量,所有V L A模型都能被你一句话归类。
36:36
第八章,世界模型,唯一向前预测世界的范式。
36:40
前面四个,L L M、V L M、V A、
36:45
V L A,都是从感知到输出,要么输出文字、
36:50
要么输出动作。
36:51
世界模型反过来,它预测的是世界本身。
36:54
条件概率写法,给定当前状态、再给定我将要做的动作,
36:59
输出下一刻世界会是什么样。
37:01
它学的是世界的动力学,因果、物理、后果。
37:06
为什么需要它?
37:07
因为前面那些V L A模型,本质上是条件反射,
37:11
看到画面、给出动作,它并不在脑子里想象动作的后果。
37:15
而人不是这样,你伸手去推一个杯子之前,
37:18
脑子里已经预演了推了它会倒、会洒、会摔碎,
37:22
所以你会放轻。
37:24
这种在行动前于内心模拟后果的能力,就是世界模型想给机器的东西。
37:29
Yann LeCun,Meta的首席A I科学家,
37:32
多年来反复主张,真正的智能必须有世界模型,
37:36
只靠预测下一个token或者只靠行为克隆,
37:40
永远到不了那里。
37:41
这是二〇二六年A I领域最重要的一场路线之争。
37:45
世界模型有两大流派,这是这一章的核心区分。
37:49
第一派,生成式,像素空间,代表是Sora、
37:53
Genie、Cosmos。
37:55
它直接预测未来的画面,给一段视频和一个动作,
37:59
生成接下来会看到的视频帧。
38:01
OpenAI的Sora是视频生成,虽然没标榜自己是世界模型,
38:05
但OpenAI明确说它在学习世界的物理规律。
38:09
DeepMind的Genie更进一步,
38:11
能从一张图生成一个可玩的虚拟环境,你输入动作,
38:15
它生成对应的下一帧,等于一个学出来的游戏引擎,
38:19
到二〇二五年的Genie二、Genie三,
38:23
已经能维持几分钟、空间一致的可交互世界。
38:27
英伟达的Cosmos是专门为机器人和自动驾驶做的世界基础模型,
38:31
二〇二五年C E S上由黄仁勋亲自推出。
38:36
它的技术形态值得一提,Cosmos同时提供两种世界模型,
38:40
一种是自回归式的,像语言模型那样一个token一个token地预测未来,
38:45
延迟低、适合实时,一种是扩散式的,像图像生成那样去噪出未来帧,
38:51
质量高、适合离线生成数据。
38:54
这正好对应了世界模型的两个核心用途。
38:57
Cosmos的核心用途就是给机器人当仿真器和数据工厂,
39:01
输入真实采集的少量场景,生成海量逼真的、
39:05
带各种光照天气物体变化的训练场景,直接缓解第六章那堵动作数据太贵的墙。
39:12
英伟达的算盘很清楚,它不做机器人本体,
39:15
但要把造训练数据的世界模型和机器人大脑GROOT都攥在手里。
39:20
这一派的优点是直观、画面可见、能当数据引擎用,
39:24
缺点是预测像素极其昂贵,而且很多像素细节,
39:29
背景墙的纹理、远处飘动的树叶,对决策毫无意义,
39:33
模型却被迫浪费大量算力去精确预测它们。
39:37
这个缺点正是下面第二派要反对的靶子。
39:40
这里再补一个Genie的精妙之处,因为它和V L A直接相关。
39:44
Genie是从大量没有动作标注的互联网游戏视频里,
39:48
自己反推出了一套潜动作。
39:50
它观察连续两帧之间发生了什么变化,反推中间一定执行了某个动作,
39:55
从而无监督地学会了动作和后果的对应。
39:59
这等于绕开了机器人动作数据稀缺那堵墙的一个角,
40:03
互联网视频里没有动作标签,但帧与帧之间的变化本身就隐含了动作信息。
40:08
这条思路在二〇二六年很热。
40:11
第二派,隐空间预测,代表是JEPA和Dreamer。
40:16
Yann LeCun力推的JEPA,
40:18
全称联合嵌入预测架构,核心主张是,别在像素层面预测,
40:23
要在抽象的表示层面预测。
40:26
不去预测下一帧每个像素长什么样,而是预测下一刻这个场景的抽象语义状态,
40:32
也就是嵌入向量,是什么。
40:35
为什么这是更对的方向?
40:38
LeCun的论据是,未来本质上不可预测,
40:40
你没法预测一片树叶具体怎么飘,但你能预测叶子会往下落这个抽象结果。
40:46
强迫模型去预测每个像素,是逼它把算力浪费在本质上随机、
40:50
且对决策无用的细节上。
40:53
在表示空间预测,模型只需抓住决策真正依赖的结构。
40:58
这条路有个著名的技术陷阱叫表示坍缩,
41:01
如果不加约束,模型会偷懒地把所有东西都映射成同一个常数向量,
41:07
这样预测就永远正确但毫无信息。
41:11
所以JEPA这类方法要用停止梯度、动量编码器、
41:15
方差正则这些技巧防止坍缩。
41:18
Meta的V-JEPA二在二〇二五年发布,
41:20
在大量视频上自监督学习,展示了零样本的物理直觉和机器人规划能力,
41:27
是这条路线二〇二六年最重要的成果。
41:30
另一个相关代表是DeepMind的Dreamer系列。
41:33
它的核心部件叫循环状态空间模型,把高维观测压成一个紧凑的隐状态,
41:39
并在这个隐状态空间里学习给定动作、下一刻隐状态是什么。
41:44
一旦有了这个隐空间动力学模型,机器人就能在想象里跑强化学习,
41:49
在脑内模拟成千上万条可能的动作序列、
41:52
评估各自回报、挑最好的,完全不用真的去摔坏自己。
41:56
Dreamer第三代二〇二三年展示了不靠人工调参就在两百多个任务上达到强水平、
42:03
甚至能在Minecraft里从零挖到钻石。
42:06
这就是世界模型最诱人的承诺,把试错从昂贵危险的真实世界,
42:11
搬进免费安全的想象世界。
42:13
世界模型和V L A是什么关系?
42:15
不是替代,是三种互补,这三种用法你都该能分清。
42:20
第一,当仿真器和数据工厂。
42:23
用世界模型生成海量训练场景和轨迹,喂给V L A做训练,
42:28
直接缓解数据墙。
42:29
英伟达Cosmos就是干这个的。
42:32
第二,当规划器。
42:34
这是最深刻的一种用法。
42:36
V L A想做某个动作前,先用世界模型在脑子里推演,
42:40
如果我执行动作A,世界会变成什么样,
42:44
动作B呢,动作C呢,把每种结果评估一遍,
42:48
挑最好的那个再真正执行。
42:51
这在技术上就是把经典的模型预测控制搬进了一个学出来的隐空间,
42:56
只不过那个系统动力学模型不再靠工程师手写,
43:00
而是世界模型学出来的。
43:02
这就给原本看到画面就条件反射的V L A,
43:04
加上了三思而后行的那一步。
43:07
第三,当训练场。
43:09
像Dreamer那样,让策略直接在想象的世界里跑强化学习,
43:14
在脑内安全地试错百万次,再把学到的策略部署到真机。
43:19
所以你可以把它理解成,V L A是手,
43:22
世界模型是那个让手在动之前先在脑内预演一遍后果的想象力。
43:28
Pi零点五加入环境记忆和长程规划、各家纷纷往V L A里塞规划能力,
43:33
本质都是在朝给V L A接上一个世界模型这个方向走。
43:37
最终形态很可能是,一个V L A负责理解与执行,
43:41
一个世界模型负责想象与规划,两者在一个系统里闭环,
43:45
这恰好又是系统一系统二那套分层思想在更高层次的重演。
43:51
第九章,五个范式放进一张表,以及真正的分歧。
43:55
把全部五个范式压进一句话,你就彻底拿住了。
43:59
大语言模型L L M,给定文字、输出文字,
44:03
解决语言。
44:04
视觉语言模型V L M,给定图像和文字、
44:08
输出文字,加了眼睛、会看图说话。
44:12
视觉动作模型V A,给定画面、输出动作,
44:16
有手但没语言、是一座座任务孤岛、泛化差。
44:21
视觉语言动作模型V L A,给定画面和指令、
44:25
输出动作,用语言这座桥把互联网常识接到了机器人手上、
44:30
能听指令能泛化,但本质仍是看到就反应的条件反射。
44:35
世界模型,给定状态和动作、输出未来的世界,
44:39
是这五个里唯一向前预测世界、唯一能支撑行动前先想象后果的那个。
44:45
前四个回答我该输出什么,世界模型回答如果我这么做、
44:49
世界会怎样。
44:51
这里要拦住一个非常常见的混淆,尤其是做大模型应用的人容易踩。
44:55
V L A里的动作,和大家熟悉的大语言模型智能体、
44:59
函数调用、工具调用里的动作,根本不是一回事。
45:04
大语言模型智能体的动作是输出一段结构化文本,
45:07
一个函数名加参数,本质还是在生成token、
45:11
产物是符号,执行交给外部代码。
45:14
而V L A的动作是连续的物理量,关节角度、
45:18
末端速度、夹爪力度,要以每秒几十上百次实时输出、
45:23
并承担不可逆的物理后果。
45:25
前者错了重试一次就行,后者错了杯子就碎了。
45:29
所以别把会调用工具的智能体当成具身智能的近亲,
45:33
它们一个活在符号世界、一个活在物理世界,
45:37
难点完全不同。
45:38
这个区分,正是为什么动作这个A是三个字母里最难的,
45:42
符号可以无限重试,物理动作不能。
45:46
看清这张表,二〇二六年真正的技术分歧就浮出来了,
45:50
主要是两派。
45:51
一派是规模派,可以叫V L A够用论。
45:55
他们认为机器人不需要什么花哨的世界模型,
45:57
沿着V L A这条路,把模型做大、把数据,
46:01
尤其是靠遥操作和仿真生成的数据,堆多,
46:05
机器人智能就会像大语言模型一样涌现出来。
46:09
Physical Intelligence、
46:10
Figure、特斯拉、某种程度上的英伟达,
46:14
行动上都偏这一派,拼命扩规模、拼命采数据。
46:19
另一派是世界模型派,以Yann LeCun为代表。
46:23
他们认为纯V L A有天花板,没有对世界因果的内在模型,
46:27
机器人永远学不会真正的物理推理和长程规划,
46:30
只是越来越精致的模仿。
46:32
必须要有JEPA那样的世界模型,机器才能像人一样理解如果。
46:36
这场争论背后真正的瓶颈,还是第六章那堵墙,
46:40
数据。
46:41
把数字摆出来你就懂这个差距有多悬殊,
46:44
训练一个大语言模型,语料是以万亿token计的、
46:49
几乎免费地从互联网爬,而机器人这边边,
46:52
Open X-Embodiment t 这种行业最大规模的合并数据集,
46:57
也就近百万条轨迹的量级,而且每一条都是人真实遥操作机器人采出来的,
47:03
一次演示几十秒、要人盯着。
47:06
这中间差了好几个数量级,且一边趋近免费、
47:09
一边极其昂贵。
47:10
这就是为什么世界模型作为数据工厂、以及Genie那种从无标注视频反推潜动作的思路如此被看重,
47:18
大家都在想方设法绕开真机采集这个瓶颈。
47:22
这也解释了为什么这个赛道上,有人重金赌仿真,
47:25
有人赌真机大规模采集,有人赌世界模型生成数据。
47:30
那么什么会证伪规模派?
47:32
判据其实很清楚,看机器人版的规模化曲线会不会像语言模型那样持续平滑上升。
47:40
如果数据和模型扩到某个量级、能力却不再随之提升,
47:43
出现明显的边际递减、甚至撞上天花板,
47:47
那就说明光靠堆V L A不够,世界模型那条路绕不过去。
47:52
反过来,如果曲线一直涨,那LeCun那派就得重新解释为什么不需要显式世界模型。
47:59
这件事不是哲学口水仗,是个能被实验证伪的经验问题,
48:03
而且二〇二六到二〇二八年大概率会有初步答案,
48:07
因为这几年正好是各家把数据和模型规模往上猛推的窗口。
48:13
这是这个领域接下来最值得盯的一条主线。
48:16
还有一个绕不开的现实要泼盆冷水。
48:18
即便在二〇二六年,最好的V L A系统在受控环境里做一个相对复杂的操作任务,
48:24
成功率往往也就在七八成上下,换到没见过的新环境会明显下滑。
48:31
而一个能商用的家务机器人,需要的是接近百分之百的可靠性,
48:35
你不能接受一台机器人每叠十件衣服就摔碎两个杯子。
48:40
从演示视频里能做,到在你家每天稳定能做,
48:44
中间这道可靠性的坎,是泛化、长程任务、
48:47
精细操作、错误恢复这几个真问题叠在一起的结果,
48:51
目前没有任何一家真正跨过去。
48:54
这也是为什么机器人的ChatGPT时刻被预测了两年还没到,
48:58
它卡的不是能不能做,是能不能稳定地做。
49:02
未来三到五年的走向,我的判断是三条线会收敛。
49:06
V L A提供手和指令理解,世界模型提供想象和规划,
49:11
再加上越来越成熟的仿真和生成式数据管线提供训练燃料。
49:16
最终能跑出来的机器人基础模型,很可能不是纯粹的某一个范式,
49:20
而是这几者缝合在一起的系统,一个能听懂你说话、
49:25
能在脑内预演后果、还能从海量生成数据里学会泛化的整体。
49:31
谁先把这三块缝得最好、并且把可靠性从八成推到九成九,
49:36
谁就拿到机器人时代的安卓。
49:38
这也正好回到英伟达的布局,它同时押GROOT、
49:41
押Cosmos、押仿真平台Isaac,
49:44
不是赌某一个范式赢,而是赌无论哪个范式赢,
49:48
缝合它们都要用我的工具。
49:50
第十章,三个值得记住的判断。
49:53
第一,区别全在那一两个字母,而每个字母都是一个被攻克的工程难题。
49:58
加V,视觉,要解决图像怎么变token,
50:03
答案是切小块。
50:05
加L,语言,给机器人带来的不只是会听指令,
50:09
更是把整个互联网的语义常识迁移过来,
50:12
这才是V L A碾压V A的根本。
50:16
加A,动作,最难,因为要解决连续动作怎么从一个只会吐离散token的模型里出来,
50:23
于是有了离散化、扩散、流匹配三条路。
50:28
下次看到一个新模型,先问它有哪几个字母、
50:31
每个字母用什么方法实现,你就看穿它了。
50:34
第二,V A和V L A的鸿沟,是反射和理解的鸿沟,
50:39
V L A和世界模型的鸿沟,是反应和想象的鸿沟。
50:43
V A是看到像素就给动作,不懂世界。
50:46
V L A借语言接上了世界知识,会理解了,
50:50
但仍是看到就反应、不预演后果。
50:53
世界模型补上的,是行动前在脑内模拟如果我这么做会怎样的那一步。
51:00
智能的阶梯,就是从反射、到理解、再到想象。
51:05
第三,卡住整个具身智能的不是算法,是数据。
51:08
文字和图像有互联网这个免费的金矿,机器人动作没有。
51:13
这一个差别,解释了为什么聊天机器人三年就成熟、
51:16
而机器人的G P T时刻被预测了两年还没真正到来。
51:21
谁解决了动作数据的规模化,靠遥操作、
51:24
靠仿真、还是靠世界模型生成,谁就握住了这个时代最关键的钥匙。
51:31
盯着数据,而不是盯着模型参数,你才看得懂这场竞赛真正的胜负手。
51:37
今天我们做的事,是把五个只差一两个字母、
51:40
却被新闻稿搅成一团的范式,沿着token、
51:43
Transformer、r、视觉接入、
51:45
动作接入、世界预测这条主线,一个一个拆开摆正。
51:50
如果你只带走一句话,那就是开头那个条件概率的框架,
51:54
看输入输出里有没有图像、有没有语言、
51:57
有没有动作,以及它到底是在产生输出还是在预测世界。
52:02
带着这把尺子,接下来无论Gemini Robotics、
52:06
Pi、GROOT、Cosmos还是V-JEPA出什么新版本,
52:12
你都能在听到名字的三秒内,把它放进正确的格子里。
52:17
这就是这期特辑想留给你的东西。
52:19
我们下期见。