Latest / The Long View / 2026-05-27 · 特辑｜机器人入门下 · 软件：VLA、世界模型、泛化与记忆的真问题

Transcript

2026-05-27 · 特辑｜机器人入门下 · 软件：VLA、世界模型、泛化与记忆的真问题 · The Long View

0:00
TLDR：本期是机器人入门两部曲的下篇，
0:03
专讲软件。
0:04
上集我们讲清楚了硬件的物理天花板—电机、
0:09
电池、算力、感知、灵巧手—决定了机器人能做什么。
0:15
这一集要讲—给定那些硬件能力，怎么让机器人真的会"做事"？
0:21
我们从经典控制论的简短回顾讲起，到深度学习改写机器人控制的转折点，
0:27
再深入讲清楚二〇二六年最前沿的几个方向：视觉-语言-动作模型V L A、
0:35
世界模型、生成式数据、sim-to-real迁移、
0:39
长程任务记忆，最后讲泛化的真问题—为什么"在实验室能用"和"在真实场景能用"之间还有十年的距离。
0:49
欢迎收听The Long View特辑，
0:51
这是五月二十七号机器人入门两部曲的下集，
0:55
专讲软件。
0:57
如果你没听上集—上集讲的是硬件：电机、
1:01
电池、算力、感知、灵巧手—是机器人能做什么的物理天花板。
1:07
下集是这一集：给定那些硬件，怎么让机器人真正"会做事"。
1:13
要预设一件事—机器人的"智能"不是大语言模型那种智能。
1:18
大语言模型预测下一个token；
1:20
机器人需要在物理世界里以毫秒为单位决定下一个动作、
1:25
并且承担物理后果—撞到人会受伤、打翻杯子会洒、
1:30
抓不住物体会摔碎。
1:32
这种"物理后果不可逆"的特征，决定了机器人的智能问题和聊天机器人的智能问题在根本上不一样。
1:41
机器人系统对错误的容忍度极低、对延迟的要求极高、
1:45
对数据的需求量极大—这三件事合在一起，
1:48
让机器人AI是当前整个人工智能领域工程上最难的子方向。
1:54
今天的路线图。
1:55
我们先简短回顾经典控制论—为什么P I D控制器统治了机器人六十年、
2:02
它的局限在哪里。
2:04
然后讲深度强化学习时代—DeepMind、
2:08
OpenAI几个标志性的项目怎么把"学习"引入了机器人。
2:13
接下来进入这一集真正的核心—视觉-语言-动作模型V L A—从RT1、
2:20
RT2、OpenVLA、Pi0到NVIDIA GR00T，
2:24
GR00T，GR00T，GR00T，
2:25
GR00T，GR00T，GR00T，
2:26
这是二〇二三年至二〇二六年机器人智能的主线故事。
2:32
再讲数据—VLA模型最稀缺的资源、为什么teleoperation远程操控成了核心数据采集方法、
2:40
video pre-training和simulation是不是能解决数据稀缺。
2:45
讲世界模型—为什么LeCun、Hassabis都把它列为通往真正机器人智能的关键、
2:51
Pi0.50.50.5、Genie、
2:53
V-JEPA2等代表性工作。
2:56
讲sim-to-real也就是仿真到现实的迁移—为什么仿真训练出来的策略在真实机器人上失败、
3:04
domain randomization n 是不是答案。
3:07
讲长程任务和记忆—一个能做"整理厨房"的机器人需要哪些能力。
3:13
讲泛化的真问题—为什么一个机器人能在实验室抓100100种物体，
3:18
搬到家里就抓不动新物体了。
3:21
简短讲安全与部署。
3:23
最后给三个值得记住的判断、然后总结整个两部曲。
3:28
听完之后你应该能够：读懂机器人AI的所有主流论文标题不再迷路；
3:35
知道为什么"机器人ChatGPT时刻"被预测了两年但一直没真正出现；
3:42
并且对接下来三到五年机器人智能的真正瓶颈在哪有清晰判断。
3:48
要理解二〇二六年的机器人AI，必须先理解它在反叛什么。
3:54
机器人控制的历史可以分成三段。
3:57
第一段是经典控制论时代—一九四〇到二〇一〇年。
4:01
核心工具是P I D控制器—比例-积分-微分控制器—一九四〇年代由海军舰艇导航系统衍生出来。
4:11
P I D控制是怎么做的？
4:14
它持续比较"目标值"和"当前值"的差异，
4:17
按三个比例（比例项、积分项、微分项）合成一个控制信号，
4:22
去推动系统朝目标移动。
4:25
这套方法极其简单、极其鲁棒、不需要训练数据。
4:30
它统治了机器人控制六十年—从工业机械臂的关节控制、
4:34
到火箭姿态控制、到家用空调温度控制—P I D都是默认选择。
4:41
P I D的局限在哪？
4:43
它需要人工设定参数—每一个新系统都需要工程师花几小时到几天去调三个参数。
4:52
它没有学习能力—同样的机器人遇到新场景，
4:56
需要工程师重新调。
4:58
它只能处理简单的反馈循环—单输入单输出。
5:02
复杂的多输入多输出系统比如人形机器人的全身平衡，
5:07
需要扩展到更复杂的工具。
5:10
扩展之一是模型预测控制M P C—它用一个数学模型描述系统动力学，
5:16
每一步求解"未来几百毫秒怎么动最优"。
5:20
Boston Dynamics的Atlas跑酷视频背后就是M P C加全身动力学。
5:27
M P C比P I D强大得多但需要的算力大得多、
5:31
且需要工程师写出系统的数学模型—人形机器人有3030多个关节、
5:38
几十个传感器，写一个完整准确的动力学模型本身就是几年的工作。
5:46
第二段是深度学习改写的过渡期—二〇一〇到二〇二〇年。
5:51
这个时期最关键的工作是深度强化学习—deep reinforcement learning。
5:58
代表性事件有二〇一三年DeepMind用D Q N玩Atari游戏、
6:03
二〇一六年AlphaGo击败李世石、
6:06
二〇一七年OpenAI Five玩Dota2、
6:10
二〇一七年OpenAI的dactyl项目用强化学习训练了一只机器人手转魔方。
6:17
这些项目证明了一件事—强化学习能在游戏和模拟环境里学出超人水平的策略。
6:25
但是把强化学习用到真实机器人上一直很难。
6:30
原因是—强化学习需要试错。
6:34
在虚拟世界里你可以让AI失败一千万次，
6:38
每次都从头开始；
6:40
在真实机器人上你让它失败十次就可能把机器人撞坏了。
6:46
所以这个时期的机器人强化学习主要停留在两类—一是简单玩具任务（魔方、
6:53
Lego装配），二是仿真训练后部署到现实—但后者总是有sim-to-real gap，
6:59
下面会专门讲。
7:02
第三段是V L A模型时代—二〇二二年到今天。
7:06
这一段我们要花后面好几章详细讲。
7:09
但简单说，转折点是二〇二二年ChatGPT的发布。
7:14
GPT-3GPT-3GPT-3GPT-3GPT-3 / GPT-4的成功让整个行业意识到—大模型在自然语言上能做到的事情，
7:22
可能在机器人控制上也能做到—前提是能找到机器人版的"互联网级数据"。
7:28
这就是过去三年所有人都在攻克的问题。
7:32
讲V L A之前，要先讲一个相对简单但是非常关键的概念—行为克隆behavior cloning。
7:40
行为克隆是怎么回事？
7:42
让人类操作机器人完成任务—比如抓杯子放到桌上—把这个过程的所有相机图像、
7:51
关节角度、动作指令都记录下来。
7:54
然后用监督学习的方式训练一个神经网络—输入是相机图像和当前状态，
8:01
输出是下一步动作。
8:03
本质上就是让AI"模仿"人类操作员。
8:07
这个思路从一九八九年Pomerleau的ALVINN自动驾驶项目就有了，
8:11
但是直到二〇一八年左右才在机器人上真正有效—因为之前的神经网络不够强、
8:19
数据规模不够大。
8:21
二〇一八年开始几个关键工作让行为克隆变得真正可用—Berkeley的Sergey Levine团队的一系列工作、
8:29
Google Robotics的早期项目、
8:32
Toyota Research的工作。
8:34
这些工作证明了—只要你能拿到足够的演示数据（几百到几千次演示）、
8:40
用足够大的神经网络（几亿到几十亿参数），
8:44
就能学出能完成相当复杂操作任务的策略。
8:48
行为克隆相比强化学习的优势—不需要试错。
8:52
所有训练数据都是人演示出来的"成功操作"，
8:56
机器人只需要学着模仿。
8:58
所以它对真实机器人友好得多—你不需要让机器人摔坏一万次。
9:05
行为克隆的代价—它只能做"演示过"的事。
9:08
如果训练数据里没有"抓鸡蛋"，机器人就不会抓鸡蛋。
9:13
所以行为克隆的可扩展性完全取决于演示数据的多样性。
9:20
到了二〇二三年左右，行为克隆出现了一个重要的升级版—diffusion policy—基于扩散模型的策略学习。
9:29
简单说，传统行为克隆每一步输出一个动作；
9:34
diffusion policy一次性输出未来几百毫秒的整段动作序列、
9:39
用扩散模型生成（类似图像生成里的Stable Diffusion）。
9:45
这个改动看起来很小，实际效果非常显著—diffusion policy在同样的演示数据上能学出比传统BC平滑得多、
9:55
鲁棒得多的策略。
9:57
今天几乎所有商业机器人公司的策略层都在用diffusion policy或它的变种。
10:04
到这里我们就铺好了通往V L A的最后一块砖。
10:08
下一章正式讲V L A模型。
10:11
V L A全称是 Vision-Language-Action—视觉-语言-动作。
10:16
这是二〇二三到二〇二六年机器人智能领域最重要的概念。
10:22
V L A的核心想法是这样的—既然大语言模型可以输入一段文本输出下一个token，
10:28
那为什么不能输入"一张相机图像加一句指令"输出"下一个机器人动作"？
10:35
把视觉编码、语言理解、动作输出整合到同一个Transformer网络里—这就是V L A。
10:43
V L A的故事可以从几个里程碑式的工作讲起。
10:47
RT1（Robotics Transformer r 1—二〇二二年底Google发布。
10:53
这是第一个真正"大规模"的机器人Transformer—353535M参数、
10:59
在130000130000130000130000130000130000次演示数据上训练、
11:02
能完成700700多种厨房和办公室任务。
11:06
RT1证明了Transformer架构在机器人控制上确实可行。
11:12
RT2—二〇二三年7月Google发布。
11:15
这一代的关键创新是—让机器人模型继承一个预训练的视觉-语言模型（VLM）的"常识"。
11:23
Google拿了一个PaLM-E这种已经预训练过互联网上几十亿张图像的V L M、
11:30
然后用机器人演示数据微调它输出动作。
11:34
结果是RT2能做RT1完全做不到的事—比如"把恐龙旁边的香蕉拿给我"—它能识别"恐龙"和"香蕉"，
11:44
并且理解"旁边"这个空间关系，即使训练数据里没有任何关于恐龙的演示。
11:51
RT2是V L A范式真正起飞的时刻。
11:55
OpenVLA—二〇二四年6月Stanford / Berkeley / TRI联合发布的开源V L A。
12:02
7B参数、在970000970000970000970000970000970000次Open X-Embodiment演示数据上训练。
12:08
是开源社区第一个达到接近Google闭源水平的V L A模型。
12:14
这给整个研究社区和创业公司提供了基础—你不需要Google级别的资源也能做机器人智能。
12:21
OpenVLA在二〇二五年迭代到OpenVLA-2OpenVLA-2OpenVLA-2OpenVLA-2OpenVLA-2OpenVLA-2OpenVLA-2，
12:25
参数扩到2020B，能力进一步提升。
12:29
Pi0—二〇二四年1111月 Physical Intelligence（e（Sergey Levine和Chelsea Finn联合创立的初创公司）发布。
12:39
Pi0的创新是流动匹配flow matching—一种比diffusion policy更高效的动作生成机制。
12:47
Pi0在 dexterous manipulation n 也就是精细操作上展示了行业领先的能力—可以叠衣服、
12:55
装配IKEA家具、做煎蛋。
12:58
Physical Intelligence e 这家公司二〇二五年估值飙到100100亿美元—是V L A创业公司里最受瞩目的。
13:07
Pi0.50.50.5是他们二〇二五年发的下一代，
13:10
加入了"环境记忆"、"长程任务"能力。
13:13
NVIDIA GR00TGR00TGR00TGR00TGR00TGR00T—二〇二四年3月GTC大会上NVIDIA宣布的人形机器人通用基础模型项目。
13:24
GR00T N1在二〇二五年初公开释放，
13:28
目标是给所有人形机器人厂商提供一个共享的"基础大脑"—不同厂商可以基于GR00T做自己的微调。
13:37
NVIDIA的战略意图非常明确—他们不做机器人本体，
13:42
但要做机器人的Android。
13:44
截至二〇二六年初，已经有Figure、
13:47
1X、Apptronik等公司在用GR00T作为基线模型。
13:53
Figure Helix—二〇二五年Figure公司自研的V L A模型。
13:58
Figure公开了一个demo视频—一台Figure0303看了一段视频后第一次见到的物品就能正确地分类整理。
14:08
Helix的特征是"模型路由"—一个7B大模型做高层规划、
14:13
一个8080M小模型做实时控制，两个模型协同。
14:17
这是当前商业部署的最先进V L A系统之一。
14:22
1X Tina—1X公司的V L A模型，
14:25
基于GR00T微调，针对家庭场景。
14:29
1X的策略是用NEO机器人在用户家里实际部署、
14:34
不断收集真实家庭数据迭代模型。
14:37
Sanctuary Carbon—Sanctuary AI自研的V L A，
14:40
针对工业精细操作。
14:43
DeepMind Gemini Robotics—二〇二五年3月发布，
14:46
是Google把Gemini大语言模型架构扩展到机器人的尝试。
14:52
Gemini Robotics的特别之处是"多模态原生"—视觉、
14:57
语言、动作在同一个Transformer里训练，
15:00
而不是把V L M微调到输出动作。
15:04
这种"原生多模态"架构理论上能学到更深的跨模态关联。
15:09
Google把Gemini Robotics集成到Apptronik Apollo等合作伙伴的机器人上做演示。
15:16
Tesla Optimus V L A—Tesla没有公开它的V L A模型名字，
15:22
但已知Tesla在二〇二四年开始把Tesla自家自动驾驶FSD的视觉stack复用到Optimus上。
15:31
这条"自动驾驶到机器人的技术迁移"是Tesla的独家优势—他们已经积累了几十亿英里的视觉训练数据。
15:40
讲完玩家，我们要简短解释一个常见的混淆。
15:44
V L A模型和"机器人版ChatGPT"经常被新闻媒体混在一起。
15:50
但是两者其实有重要差别—一个真正的机器人V L A模型，
15:56
输入不仅是文字（"帮我拿杯子"），还必须实时输入相机图像、
16:01
当前关节角度、力反馈，并且输出精确的关节扭矩指令—延迟必须在5050毫秒以下。
16:10
一个ChatGPT-like的对话模型，
16:13
延迟可以是几秒，且不需要任何物理状态输入。
16:17
所以"机器人ChatGPT时刻"这种比喻是误导—机器人的智能问题远比聊天复杂。
16:25
这些工作放在一起看，可以总结成几个共识—第一，
16:30
V L A是当前机器人智能的事实标准架构。
16:34
所有主流厂商都在做V L A或VLA衍生架构。
16:39
第二，模型规模在快速增长—从RT1的353535M到OpenVLA-2OpenVLA-2OpenVLA-2OpenVLA-2OpenVLA-2OpenVLA-2OpenVLA-2的2020B，
16:47
三年内增长了600600倍。
16:50
但是V L A模型的规模仍然远小于大语言模型（GPT4估计是1.71.71.7T级别—因为机器人数据量小得多，
17:00
规模再大也无法充分训练。
17:03
第三，数据是真正的瓶颈。
17:05
这就是下一章要专门讲的。
17:08
如果大语言模型的训练数据是"整个互联网的文字"—大约10万亿token—那机器人V L A模型的训练数据呢？
17:18
二〇二六年最大的开放机器人数据集是Open X-Embodiment—大约100100万次机器人演示、
17:25
覆盖222222种不同的机器人本体。
17:29
把这个数据集换算成"token"等价，
17:31
大约只有100100亿个动作token—比GPT4的训练数据小10001000倍。
17:38
这个数据量的差距，是V L A模型一直无法做到大语言模型那种"涌现能力"的根本原因。
17:46
为什么机器人数据这么少？
17:47
因为机器人数据无法从互联网采集。
17:51
你不能像爬网页那样爬"机器人动作数据"—这种数据根本不存在于互联网上。
17:58
每一份机器人演示数据都必须由人类操作员去专门生成。
18:03
数据获取的几条主流路径—Teleoperation远程操控—人类穿戴VR头盔和动作手套，
18:11
远程控制机器人完成任务、所有相机数据和动作数据被记录下来。
18:17
这是当前最主流的机器人数据采集方法。
18:21
代表方案是Stanford的ALOHA系统、
18:24
Berkeley的Polymetis、
18:26
Tesla的人工标注数据中心、Figure的内部teleoperation设施。
18:32
Teleoperation的优势是数据质量高（人类知道在做什么）、
18:36
可以覆盖复杂任务。
18:38
代价是贵和慢—一个操作员一小时只能生成大约3030到100100次任务演示，
18:46
每个演示的边际成本相当于一小时的人工劳动费。
18:51
如果要生成100100万次演示，需要几万到几十万小时的人工—这就是二〇二五到二〇二六年所有机器人公司在投入巨额人工成本做的事。
19:03
Simulation仿真生成—在物理仿真器（NVIDIA Isaac Sim、
19:08
MuJoCo、Brax）里让AI agent自己尝试任务、
19:13
生成演示数据。
19:15
优势是便宜和快—一台GPU可以并行模拟几千个机器人同时学习。
19:23
代价是sim-to-real gap—仿真里学到的策略在真实世界经常失败。
19:28
这条路线最近二年因为NVIDIA Omniverse的进步有了改进—更逼真的物理引擎、
19:34
更真实的渲染。
19:35
但完全替代teleoperation仍然不可能。
19:40
Video pre-training视频预训练—直接让机器人模型"看"互联网上的视频—YouTube上有海量人类做事的视频。
19:49
理论上这些视频蕴含了大量关于"人如何做事"的隐含知识。
19:55
代表性工作有Meta的V-JEPA、
19:58
DeepMind的RT-Trajectory。
20:00
但是人类视频里没有动作label—你看到一个人在洗碗的视频，
20:05
但视频里不直接告诉你"哪个关节转了多少度"。
20:10
所以视频预训练只能学到"高层语义"—"这个场景下一般会发生什么"—而不能直接学到"机器人怎么动"。
20:19
这是当前V L A研究的一个核心问题。
20:22
Cross-embodiment learning g 跨形态学习—用一种机器人的数据训练另一种机器人。
20:29
比如用Tesla Optimus的数据帮助训练宇树G1。
20:34
这个思路理论上能极大扩展可用数据量—Open X-Embodiment数据集就是这个思路的代表。
20:42
但实际效果有限—不同机器人的物理特性、
20:46
关节布局、视觉视角都不同，迁移很困难。
20:50
Demonstration from human video—从普通人做事的视频里"抽取"动作。
20:55
最新的几个工作（如V-JEPA2、Berkeley HumanPlus、
20:59
Stanford DexCap）p）尝试把"人手做的动作"映射到"机器人手的动作"。
21:06
这条路线如果走通—理论上可以把YouTube上几千万小时的人类做事视频变成机器人训练数据，
21:14
相当于一夜之间数据量提高10001000倍。
21:18
这是二〇二六年最受关注的研究方向之一。
21:23
Co-training with internet data a 与互联网数据共训—这是一个不太被讨论但实际效果不错的小技巧。
21:30
在训练V L A时，混合一些大规模的非机器人数据—图像分类数据、
21:36
视觉问答数据、视频字幕数据。
21:39
这些数据虽然不直接教机器人动作、但能保留V L M在预训练时学到的"世界常识"—比如"杯子是用来装水的"、
21:49
"桌子比地板高"。
21:51
RT2和OpenVLA都用了这一技巧。
21:55
如果只用机器人数据训练，模型很快就会"遗忘"这些常识、
21:59
退化成一个只会模仿动作的模式匹配器。
22:03
讲到这里值得停下来讨论一下数据飞轮data flywheel这件事。
22:08
Tesla在自动驾驶FSD上跑通了一个数据飞轮—每台量产Tesla都是数据采集设备、
22:15
几百万台车每天采集数据反哺模型训练、
22:20
模型变好后吸引更多用户购车。
22:23
同样的飞轮能不能在机器人上跑起来？
22:27
1X、Tesla Optimus都在押注这一点—每台部署到家庭或工厂的机器人，
22:34
相机数据上传云端、改进V L A模型、
22:38
新模型OTA下发到所有机器人。
22:41
这种"装机量越大模型越好越多人买"的正循环如果跑通，
22:46
可能是机器人行业的最终护城河。
22:50
简单总结这一章—数据是V L A的真正瓶颈，
22:54
比模型架构、比算力都更瓶颈。
22:58
任何认真做机器人智能的公司，都在大手笔投入数据采集—Tesla在加州有数千人的数据采集中心、
23:06
Figure自建了几十台机器人的演示工厂、
23:09
宇树和智元在中国有几百人的teleoperation团队。
23:14
这种"用人工劳动生成机器学习训练数据"的模式，
23:18
本身可能就是接下来几年机器人行业的最大成本和差异化来源。
23:25
数据这一章再补充一件值得记的事—Open X-Embodiment数据集是Google、
23:31
Stanford、Berkeley、
23:33
CMU、Toyota、NVIDIA等3030多家研究机构在二〇二三年联合发布的，
23:40
把各家的机器人演示数据全部公开、统一格式。
23:45
这是机器人AI历史上第一次有"行业级"开放数据。
23:49
它的存在让OpenVLA这类开源工作能存在—没有它，
23:54
开源研究永远跟不上Google闭门数据的速度。
23:59
Open X-Embodiment在过去三年里持续扩展，
24:02
到二〇二六年规模已超100100万次演示、
24:06
222222种机器人本体。
24:09
中国一侧也有类似的努力—智源研究院主导的"具身智能数据联盟"、
24:14
字节跳动开源的GR2数据集—但规模仍小于Open X-Embodiment。
24:20
如果V L A是当前的事实标准，那"世界模型world model" " 就是被很多人押注的下一个范式。
24:28
我们要仔细讨论这件事—因为它在二〇二六年是一个争议很大的方向。
24:34
世界模型是什么？
24:36
简单说，是一个能预测"如果我做了X，
24:39
世界会变成什么样"的模型。
24:42
比如你给世界模型一段视频和一个动作"我把杯子往右推"，
24:48
世界模型预测出几秒后的视频—杯子真的移动到了右边。
24:53
为什么世界模型重要？
24:55
因为它解决了一个V L A模型的根本局限—V L A直接从感知映射到动作，
25:02
它不真的"理解"物理世界是怎么运转的。
25:06
它学的是"在这种场景下我应该做什么"，
25:09
不是"如果我做了什么，会发生什么"。
25:12
后者是"理解"，前者只是"模仿"。
25:16
世界模型作为机器人智能的方向，最强的倡导者是Yann LeCun—Meta首席AI科学家—他从二〇二二年的的"A Path Towards Autonomous Machine Intelligence""论文开始一直在推这条路线。
25:31
LeCun的核心论点是—纯靠模仿数据训练的AI永远无法达到真正的智能，
25:37
必须让AI学会"自我预测世界"，从预测过程中学到对世界的因果理解。
25:44
LeCun提出的具体架构叫J E P A—Joint Embedding Predictive Architecture，
25:49
联合嵌入预测架构。
25:52
J E P A的核心是—不在像素层面预测未来（那样太费算力且学不到本质），
25:58
而是在"抽象表征"层面预测—给定当前帧的抽象表示和一个动作，
26:04
预测下一帧的抽象表示。
26:07
这套架构在二〇二三年起以I-JEPA、
26:10
V-JEPA、V-JEPA2等版本陆续发布。
26:14
世界模型这条线的其他代表性工作—DeepMind Genie系列—二〇二四年Genie1、
26:21
二〇二五年Genie2是"可控的视频生成"—你给一张图片，
26:26
模型能生成"如果做了X动作"对应的连续视频。
26:32
Genie2已经能生成相当真实的3030秒视频。
26:36
OpenAI Sora—虽然Sora是定位为视频生成模型，
26:41
但OpenAI本身称之为"世界模型的早期版本"—Sora在某种程度上"理解"物理（球会下落、
26:49
水会溅起、光会反射）。
26:53
这种"涌现的物理理解"是世界模型最让人兴奋的方面。
26:58
Pi0.50.50.5—前面提到的 Physical Intelligence e 的下一代模型，
27:02
把世界模型作为一个内部模块—机器人在执行任务前先"在脑子里模拟"几种可能的动作、
27:10
选择最有利的那个。
27:13
1X World Model—1X公司二〇二五年发的内部世界模型，
27:18
专门为家用机器人场景训练—能预测"如果机器人在客厅里做某个动作，
27:24
环境会怎么变化"。
27:26
世界模型的争议在哪？
27:28
两方面。
27:29
支持方的论点—纯V L A模型规模化遇到了数据瓶颈。
27:34
世界模型可以从"无标签视频"（也就是不需要动作label的视频）中学习，
27:40
理论上可以使用YouTube整个视频库作为训练数据。
27:46
这种数据量的解锁可能带来下一次能力跃迁。
27:50
反对方的论点—世界模型的"预测未来"是不是真的对机器人控制有用？
27:57
如果一个模型能预测"我把杯子推到右边，
28:00
杯子会移动到右边"—这件事的预测精度需要多高？
28:04
预测错1厘米就够吗？
28:06
1毫米呢？
28:07
过于精确的物理预测可能比直接学动作还难。
28:11
我个人的判断—世界模型短期内不会替代V L A，
28:16
但会成为V L A内部的一个关键模块。
28:20
也就是说，未来的机器人智能架构是V L A加世界模型的混合—V L A做"快速反应的肌肉记忆"、
28:28
世界模型做"慢速思考的规划"。
28:32
这跟Daniel Kahneman的"系统一+系统二"思维框架有异曲同工之处—也跟二〇二五年深度学习里普遍开始流行的"快慢双系统"架构吻合。
28:45
世界模型这件事什么时候能落地、能不能落地，
28:49
是二〇二七和二〇二八年值得密切关注的事。
28:53
讲世界模型再补充一段历史背景—这个概念其实并不新。
28:59
DeepMind在二〇一八年就发了"World Models" " 论文（David Ha与Jürgen Schmidhuber），
29:05
r），用一个VAE加一个RNN在赛车游戏里建立环境模型让agent在"梦境"里训练。
29:14
之后的MuZero（二〇一九）、DreamerV1DreamerV1DreamerV1DreamerV1DreamerV1DreamerV1/V2V2V2/V3（二〇二〇-二〇二三）一脉相承—都是用学到的世界模型在内部做planning。
29:26
这一脉的工作在游戏环境里非常成功—MuZero在围棋、
29:32
象棋、Atari上都用世界模型加MCTS拿到了SOTA。
29:38
但是把这套方法从游戏迁移到真实机器人非常困难—游戏的"状态"是定义清楚的、
29:45
动作空间是离散的、奖励是密集的；
29:48
真实物理世界这三件事都不成立。
29:52
这是为什么二〇二〇到二〇二三年世界模型在游戏圈很火、
29:58
在机器人圈一直没真正起飞。
30:01
二〇二三年之后的转折是—视频生成模型的进步（Sora、
30:06
Veo、Genie、Kling等）让人意识到—也许我们不需要把"世界模型"建得很形式化、
30:13
很数学，而是直接用一个超大规模的视频生成模型作为"世界模型"。
30:20
这种"视频生成模型即世界模型"的思路是OpenAI、
30:24
Genie、Pi0.50.50.5共同的方向。
30:27
讲世界模型最后说一件值得听众思考的事—LeCun多年来一直说大语言模型不是通往AGI的路、
30:36
世界模型才是。
30:38
这个论点在二〇二三、二〇二四年还显得激进，
30:41
到二〇二六年—大语言模型规模化的边际收益明显递减、
30:47
机器人V L A遇到泛化瓶颈—这个观点开始得到更多严肃讨论。
30:53
可能二〇二六到二〇三〇年我们会看到一次AI范式的小转折—从"纯语言模型"到"语言模型加世界模型加agent"的混合架构。
31:05
机器人是这次转折的最直接受益者。
31:09
V L A不能直接控制每个关节的电机电流—那个频率太高（每秒10001000次）、
31:15
V L A跑不到这个频率。
31:18
所以现代机器人系统都是分层架构—V L A作为中层、
31:23
和上层规划器、下层电机控制器协同。
31:27
具体分几层。
31:29
最上层是task planner任务规划层。
31:31
这一层接收人类指令（"帮我整理客厅"），
31:35
用大语言模型分解成子任务序列。
31:38
频率是分钟级别—人下达任务，它思考几秒到几十秒，
31:43
然后输出。
31:45
这一层通常是GPT-4oGPT-4oGPT-4oGPT-4oGPT-4oGPT-4o、
31:47
Claude、Gemini或Qwen这种通用大语言模型—机器人厂商不需要自研。
31:55
中上层是 mid-level reasoning g 中层推理。
31:58
这一层把子任务（"把书放回书架")进一步分解成可执行的运动primitive序列—"走到书架前弯腰拿起书转身放到书架第二层第三格"。
32:11
这一层频率是秒级。
32:13
可能是大语言模型，也可能是专门的planning model。
32:18
中层是V L A模型。
32:20
这一层接收当前的视觉输入、当前的运动primitive目标，
32:25
输出未来几百毫秒的关节运动轨迹。
32:29
频率是10到50 Hz50 Hz50 Hz50 Hz—也就是每2020到100100毫秒输出一次。
32:35
这是V L A实际工作的频率。
32:39
模型规模在1B到10B参数之间—太大跑不快。
32:44
中下层是 trajectory optimizer r 轨迹优化层。
32:48
这一层接收V L A输出的目标轨迹、
32:51
考虑动力学约束、平滑处理、生成最终的关节目标位置序列。
32:57
频率100100到500 Hz500 Hz500 Hz500 Hz。
32:59
这一层通常是经典的MPC或 trajectory optimization n 算法—不是神经网络。
33:06
最底层是joint controller关节控制层。
33:10
这一层是每个关节的本地控制器、跑PID或cascade控制、
33:15
把目标位置变成电机电流。
33:18
频率10001000到10000 Hz10000 Hz10000 Hz10000 Hz。
33:21
这一层在每个关节的本地MCU上跑、完全本地、
33:26
和经典控制论一样。
33:28
为什么要这么分层？
33:29
因为不同的事情需要不同的频率和反应速度。
33:33
"决定整理客厅"是一个秒级决策；
33:36
"决定下一秒怎么走"是一个100100毫秒决策；
33:39
"决定下一毫秒电机转多少度"是一个微秒级决策。
33:44
一个统一的大模型不可能同时在这三个时间尺度上工作。
33:49
分层架构有一个隐藏的设计哲学—让"智能"和"反射"分开。
33:54
智能的部分是慢的、需要思考、可能错；
33:58
反射的部分是快的、确定性的、绝对不能错。
34:03
机器人的安全性主要靠"反射层"保证—即使智能层乱发指令，
34:08
反射层会过滤掉那些会让机器人撞到人、
34:12
超出关节限位、电机过载的危险动作。
34:16
这一层是机器人和聊天机器人的根本区别—聊天机器人乱讲话最多让人笑，
34:23
机器人乱动作可能伤人。
34:26
实际产品中这套架构怎么实现？
34:28
看Figure Helix的公开架构—一个7B的system2大模型负责高层规划、
34:35
一个8080M的system1小模型负责低层控制，
34:39
两者协同。
34:40
Tesla Optimus的架构虽然不公开，
34:43
但据Tesla AI Day透露也是类似的双系统。
34:47
NVIDIA GR00TGR00TGR00TGR00TGR00TGR00T提供的就是中层V L A模型，
34:51
留出上下层让客户自己定制。
34:55
讲完模型架构和数据来源，我们要专门讲一个工程难题—sim-to-real gap—仿真到现实的差距。
35:03
这个问题为什么这么关键？
35:05
因为如果能把训练完全放在仿真里、然后无损迁移到真实机器人，
35:12
那机器人AI的训练成本会从"每次演示几美元"降到"几乎免费"—一台GPU一晚上能模拟一亿次任务。
35:22
但实际工程中，仿真训练的策略在真实机器人上失败率经常超过50%50%50%50%50%。
35:29
为什么会有sim-to-real gap？
35:31
三类主要原因。
35:33
第一类是物理模型不准。
35:35
仿真器里的物理引擎是简化的—摩擦力是用简化模型计算的、
35:40
空气阻力是粗略的、关节摩擦是理想的。
35:44
真实世界里这些都有偏差。
35:48
一个最经典的例子是—仿真里机器人能完美抓住一个圆柱体，
35:53
因为接触模型假设是"刚性接触"；
35:57
真实世界里柔软的物体会变形、滑动、不同材料摩擦不同—仿真里学不到这些。
36:05
第二类是视觉差距。
36:07
仿真渲染再逼真也不是真实相机的图像—光照、
36:11
阴影、镜面反射、运动模糊、传感器噪声都和真实有差距。
36:17
一个在仿真里训练的视觉策略到真实场景可能"看不出"它该识别的物体。
36:24
第三类是动作执行差距。
36:26
仿真里电机响应是理想的—你下指令1牛米扭矩，
36:31
电机就出1牛米。
36:34
真实电机有延迟、有非线性、有齿轮间隙、
36:38
有摩擦—同样的指令下，真实输出和仿真预测不一样。
36:43
工程界的几个应对策略—Domain Randomization n 域随机化—在仿真训练时，
36:49
随机化所有可能的参数—摩擦系数、光照、
36:54
相机视角、物体颜色、电机响应曲线。
36:57
让训练出来的策略对这些参数变化"不敏感"。
37:01
这样到真实场景，虽然真实参数和任何一次训练时的参数都不一样，
37:07
但策略已经学会了"忽略这些差异"。
37:11
OpenAI Dactyl项目用域随机化在二〇一八年训练出了能转魔方的机器人手，
37:17
是这条路线的里程碑工作。
37:20
当前几乎所有机器人RL项目都用域随机化的某种变体。
37:26
System Identification n 系统辨识—精确测量真实机器人的物理参数（关节摩擦、
37:33
电机响应、视觉传感器特性），然后让仿真器精确地匹配这些参数。
37:40
让仿真和现实接近一致。
37:43
这条路线的代价是"每台真实机器人都要花几小时校准"—商业部署不友好。
37:50
Real-to-Sim-to-Real l 真到仿真到真—先从真实机器人采集一些数据，
37:55
用这些数据训练一个"高保真仿真器"，
37:59
再在这个仿真器里训练策略，最后部署到真实。
38:02
这是二〇二五年新兴的一条路线。
38:06
NVIDIA的 Omniverse Replicator r 和DeepMind的几个工作都在尝试。
38:10
Sim-to-Real-to-Sim反向校准—策略在真实部署时持续记录"仿真预测和真实结果的差距"，
38:18
自动反馈给仿真器去修正。
38:21
这条路线还在研究阶段。
38:23
简单总结—sim-to-real在二〇二六年仍然是一个未解决的问题。
38:29
当前最先进的工作已经能在很多任务上做到80%80%80%80%80%以上的迁移成功率—但要做到工业级部署的99.9%99.9%99.9%99.9%99.9%99.9%99.9%99.9%可靠性，
38:40
差距仍然很大。
38:42
这是为什么所有商业机器人公司，包括最激进押注simulation的，
38:47
都还在大量投入真实世界的teleoperation数据采集—他们不敢全押simulation。
38:54
讲sim-to-real还要提一下仿真器本身的产业格局。
38:59
当前几个主流仿真器—NVIDIA Isaac Sim是二〇二六年商业人形机器人厂商最常用的，
39:07
因为它和NVIDIA的GPU、Jetson边缘计算芯片、
39:12
GR00T模型形成了一整套生态。
39:16
MuJoCo是DeepMind维护的开源仿真器、
39:19
学术界最常用、二〇二二年被DeepMind收购后免费开源。
39:24
Brax是Google的JAX-based仿真器、
39:27
速度极快但物理保真度略低。
39:30
SAPIEN是清华、斯坦福联合维护的开源仿真器、
39:36
在中国研究界用得最多。
39:39
Habitat是Meta的室内仿真器、
39:42
专注家庭场景。
39:43
Genesis是二〇二四年底卡内基梅隆联合发布的新仿真器、
39:49
号称速度比Isaac Sim快一百倍。
39:53
这些仿真器的生态竞争本身就是机器人行业的一个隐藏战场—选哪个仿真器训练，
40:01
未来几年都很难切换。
40:03
NVIDIA通过 Isaac Sim + + + GR00T GR00T GR00T GR00T GR00T GR00T GR00T 的捆绑战略，
40:08
正在建立自己的"机器人Android"位置。
40:12
V L A模型当前最擅长的是"短程任务"—抓物体、
40:16
放物体、推、拉、按按钮—这些任务持续时间几秒到几十秒。
40:24
如果你给机器人一个长程任务—"帮我把厨房整理一下"—V L A当前会失败。
40:31
为什么？
40:32
因为长程任务需要几个V L A当前没有的能力。
40:36
第一是任务分解—"整理厨房"实际上由几十个子任务组成—清理桌面、
40:42
洗碗、把碗放回橱柜、擦灶台、扫地。
40:46
机器人需要先理解整体目标、再拆解成可执行的子任务序列。
40:51
这是经典的"任务规划"问题。
40:54
第二是记忆—机器人需要记住"我刚才把碗放在哪里了"、
40:59
"哪个橱柜是放碗的"。
41:01
当前V L A模型的"记忆"基本上就是Transformer的上下文窗口—几千个token，
41:07
覆盖几十秒到几分钟。
41:10
整理整个厨房可能需要3030分钟，这远超出当前V L A模型的记忆容量。
41:17
第三是错误恢复—长程任务里总会出错—洗碗时滑了、
41:22
把碗摔了、桌子上有不认识的物品。
41:25
机器人需要能识别"出问题了"、决定怎么处理、
41:29
然后继续任务。
41:31
这种"错误恢复" 当前V L A模型几乎做不到—一旦出错就常常陷入循环或者卡死。
41:39
针对这些问题，二〇二五到二〇二六年出现了几个研究方向。
41:45
Hierarchical V L A分层V L A—把V L A分成两层。
41:50
高层是"任务规划器"—可能用一个大语言模型（GPT4或Claude）来做—把长程任务分解成短程子任务。
42:00
低层是"执行器"—一个标准V L A—执行每个子任务。
42:05
这是Figure Helix的双模型架构、
42:07
Google RT-H、H、Anthropic内部研究都在采用的思路。
42:13
Memory-augmented V L A A 记忆增强V L A—给V L A模型加一个外部记忆模块—可以是向量数据库（类似RAG）、
42:23
可以是图结构（场景图）、可以是文本日志。
42:27
机器人在执行任务时持续写入记忆、需要时查询。
42:32
代表性工作有Google的RT-Memory、
42:35
Berkeley的LangChain Robotics。
42:38
World model based planning g 基于世界模型的规划—前面讲的世界模型在这里有用—机器人可以"在脑子里模拟"几种任务执行方案、
42:48
选最优的那一个。
42:50
这是 Pi 0.50.50.50.50.5、
42:51
NVIDIA GR00TGR00TGR00TGR00TGR00TGR00T N2N2N2、
42:54
DeepMind Gemini Robotics 等方向。
42:57
Habit / skill library技能库—机器人累积一个"技能库"—每个技能是一段验证过的子任务执行策略—遇到新任务时从库里组合调用。
43:08
这个思路二〇二六年开始有几家初创公司在做。
43:13
RL微调 + + + reward shaping—在V L A基础策略之上、
43:19
用强化学习微调让它能处理特定的长程任务和错误恢复。
43:25
Anthropic在二〇二五年发了一篇博客描述了用类似RLHF的方法训练机器人—用人类反馈来奖励"任务做对了"或者"任务恢复得好"。
43:38
这套方法是把大语言模型时代的alignment技术搬到机器人。
43:44
能不能scale还是个问号。
43:46
简单说—长程任务和记忆是V L A范式的下一个台阶，
43:51
二〇二六到二〇二八年会有大量工作集中在这里。
43:56
能不能突破，决定机器人能不能从"工厂搬运"扩展到"家务和服务"。
44:02
讲长程任务再补一段—多机器人协作和分工也是长程任务的一个变种。
44:09
一个家用任务比如"准备晚餐"，理想情况下不是一台机器人从头做到尾—而是一台机器人去切菜、
44:17
一台机器人去煮、一台机器人去摆桌。
44:21
这种"多机器人协作"在工业领域已经有成熟方案（multi-robot coordination），
44:27
n），但在通用V L A框架下还几乎没有研究。
44:32
如果家用机器人最终的形态不是"一台全能的"而是"几台各司其职的"，
44:37
那协作能力会是一个独立的研究方向。
44:41
讲到这里我们要面对一个最难讨论的话题—泛化generalization。
44:46
也是机器人AI当前最大的真问题。
44:50
什么是泛化？
44:50
简单说，是"在训练数据没见过的场景下，
44:54
仍然能正确工作"的能力。
44:56
这件事在大语言模型上是相对简单的—你训练模型在互联网文本上、
45:02
然后它能回答几乎任何问题。
45:06
但在机器人上，泛化要复杂得多—因为"场景"在物理世界里有太多维度。
45:11
让我们具体分级。
45:13
机器人泛化可以按难度分为五级。
45:16
第一级—同物体不同位置。
45:19
训练时机器人在桌子的某个位置抓杯子；
45:22
部署时杯子放在桌子另一个位置。
45:25
这一级当前所有V L A模型都能解决得很好。
45:30
第二级—同物体不同姿态。
45:32
训练时杯子直立；
45:34
部署时杯子倒着、躺着、把手朝向不同方向。
45:39
这一级二〇二六年大多数V L A能基本解决—可能成功率从95%95%95%95%95%95%降到80%80%80%80%80%。
45:48
第三级—不同物体同类别。
45:50
训练时见过10种杯子；
45:52
部署时遇到第1111种。
45:54
这一级当前V L A表现已经明显下降—成功率经常掉到50%50%50%50%50%以下。
46:02
第四级—新类别物体。
46:04
训练时从来没见过的物体类型—比如训练时只见过厨具，
46:09
部署时遇到办公文具。
46:11
这一级当前V L A基本失败—成功率经常低于20%20%20%20%20%。
46:18
第五级—新场景。
46:19
训练时在实验室；
46:21
部署时在用户家里—光照、背景、桌面材质都完全不同。
46:27
这一级是真正的"实验室到真实"的差距—成功率经常掉到几乎为零。
46:34
为什么级别越高越难？
46:35
因为V L A学的本质上是"我见过的场景里我该怎么做"。
46:40
它没有真正的"理解"—它不"知道"杯子是什么、
46:43
不"知道"为什么我应该抓它的把手而不是边缘。
46:48
所以一旦场景偏离训练分布，它的表现就坍塌。
46:53
这是为什么大多数机器人demo视频里你看到的是受控环境—固定的灯光、
46:59
固定的桌面、固定的物体集合。
47:03
把同一个机器人搬到一个完全没见过的环境，
47:06
95%95%95%95%95%95%的概率会立刻失灵。
47:10
泛化的几个研究方向—Scale—继续扩大模型和数据规模，
47:15
希望"涌现"出来的泛化能力。
47:18
这是RT2、Pi0、GR00T的路径。
47:23
从经验上看，规模化确实在改善泛化，但收益递减明显—把数据从10万扩到100100万只能让第四级泛化的成功率从15%15%15%15%15%提到25%25%25%25%25%25%。
47:38
World model + + + reasoning—希望世界模型加上推理能力让机器人能"想象"未见过的场景。
47:45
这是LeCun、Pi0.50.50.5、
47:48
DeepMind的押注。
47:49
理论上可行、实证上还在验证。
47:53
Foundation models for robotics—希望像大语言模型那样训练一个超大规模的"机器人基础模型"、
48:00
然后让它在零样本或少样本下泛化到任何任务。
48:04
这是GR00T、OpenVLA的方向。
48:08
当前最强的版本能做到第三级泛化的60%60%60%60%60%成功率。
48:13
Active learning—让机器人在真实部署时持续主动学习—遇到不会的场景时让人类示范一次、
48:22
更新策略。
48:23
这是1X、Tesla自家路线的精神。
48:27
这样每个真实部署的机器人成为整体训练数据的一部分。
48:32
我个人的判断—第三级泛化（同类不同物体）在二〇二七到二〇二八年会基本解决；
48:40
第四级（新类别）可能要二〇三〇年；
48:44
第五级（完全新场景）不确定何时能做到。
48:49
所以"机器人进家庭"这件事在二〇二六年看，
48:53
更可能是二〇二九到二〇三二年的事，而不是二〇二七年。
48:59
讲泛化的最后再说一件值得听众思考的事—泛化的ladder不是线性的。
49:05
从第三级到第四级的难度跳跃，可能比从第二级到第三级大十倍。
49:11
从第四级到第五级，可能再大十倍。
49:15
这跟语言模型不一样—大语言模型的泛化是相对平滑的曲线—你训练更多数据、
49:22
模型更大，泛化能力是连续地变好。
49:26
机器人的泛化看起来不是这样—它有几个台阶，
49:30
每个台阶之间需要新的算法突破，不是单纯地堆数据堆算力。
49:36
为什么会这样？
49:37
因为物理世界的"分布偏移 distribution shift""比文本世界严重得多。
49:43
语言世界里，"新的句子"和"训练时见过的句子"的差距是有限的—单词集合是有限的、
49:50
语法是规则的。
49:52
物理世界里，"新场景"和"训练时见过的场景"差距可能是10个数量级—光照不一样、
50:00
物体材质不一样、家具布局不一样、人活动方式不一样。
50:06
这种"组合爆炸"的多样性是不能靠scale解决的。
50:11
所以泛化问题本质上不是数据问题、也不是算力问题—它是算法范式问题。
50:19
需要的可能是V L A之外的某种新的架构—也许是世界模型加reasoning、
50:25
也许是某种我们还没设想到的方式。
50:28
这就是为什么我说—泛化是机器人真正的最后一公里、
50:33
且它的难度可能比我们当前想象的大很多。
50:38
所有看起来乐观的"机器人ChatGPT时刻"预测，
50:41
都低估了从"实验室能用"到"家庭能用"之间的算法差距。
50:47
讲完技术，最后一章我们专门讨论一下中国机器人AI生态—因为它和西方有重要差别。
50:55
人才—OpenAI、Anthropic、
50:58
DeepMind的V L A团队里有大量华人研究员。
51:02
Sergey Levine在Berkeley培养出来的中国博士已经分布在各个机器人公司。
51:09
中国大陆的高校—清华、北大、上交、中科大、
51:13
哈工大—在机器人控制和V L A方向都有强组。
51:18
所以"人才"不是中国机器人AI的瓶颈。
51:22
模型—中国本土V L A模型在二〇二六年还落后于西方半年到一年。
51:30
代表性工作有智元的GO1、智源研究院的BAAI EmbodiedGPT、
51:35
Fourier自研的V L A、
51:38
阿里通义灵骏团队的工作。
51:41
这些模型多数基于开源OpenVLA或GR00T微调，
51:46
原创架构较少。
51:48
但是迭代很快—半年到一年的差距可能不长期。
51:53
数据—这是中国的潜在优势。
51:55
中国的劳动力成本仍然显著低于美国—同样的teleoperation数据，
52:01
在中国采集成本可能只有美国的三分之一到五分之一。
52:07
智元、宇树、星动纪元都在中国建大规模的teleoperation工厂。
52:13
如果"机器人数据飞轮"是这个行业的最终护城河，
52:17
中国可能比美国更快建立起规模。
52:21
硬件供应链—上一集我们讲过，中国在电机、
52:25
减速器、电池、整机制造上有显著的成本优势。
52:31
把"低成本硬件"和"低成本数据"两件事合起来，
52:34
中国可能在二〇二八年左右出现一批价格只有美国对手三分之一、
52:40
智能水平相近的人形机器人产品。
52:44
这是中国机器人AI的最强机会窗口。
52:48
短板—中国机器人AI当前最大的短板是"前沿算法原创"。
52:53
V L A、世界模型这些核心架构创新仍然主要由美国实验室主导。
53:00
如果美国对中国的AI模型限制升级（比如限制GR00T等基础模型对中国的开放），
53:07
中国机器人公司可能需要自己重新做架构创新—而这是中国AI公司还没真正证明过的能力。
53:15
全球分工的可能性—一种可能的格局是—美国做V L A基础模型创新（OpenAI、
53:22
Anthropic、DeepMind主导）、
53:24
中国做硬件和数据规模化（宇树、智元、
53:29
Tesla在中国生产）、欧洲和日本做高端工业应用（KUKA、
53:33
Boston Dynamics、s、
53:35
Fanuc）。
53:36
但这种"自然分工"格局在中美关系紧张的环境下未必能维持—更可能是两个相对独立的供应链平行发展。
53:45
简短讲软件层的安全和伦理。
53:48
Failure mode故障模式—V L A模型的失败不像传统软件bug那样可预测。
53:55
它可能在99%99%99%99%99%99%的场景下表现完美、
53:59
然后在某个看起来无害的边缘场景下做出灾难性动作（比如把孩子当成箱子搬运）。
54:07
这种 "long tail failures" " 在自动驾驶领域早就被认识到、
54:12
机器人领域也面临同样的挑战。
54:15
Hard constraints硬约束—和V L A学到的"软策略"并行，
54:20
机器人必须有一层不可学习的硬约束—"不许碰到人"、
54:24
"不许超过5050牛顿力"、"不许移动出指定区域"。
54:29
这一层不由AI决定、由经典控制确保。
54:33
这是机器人安全的最后防线。
54:36
Auditing可审计性—当机器人做错事时，
54:39
能不能从模型输出反推它"为什么这么做"？
54:43
当前V L A模型基本是黑盒—没有清晰的"决策路径"可以审计。
54:49
这是机器人进入医疗、儿童照护等高敏感场景的法律障碍。
54:54
Privacy隐私—一台家用机器人配备多个相机持续记录家庭画面。
55:00
这些数据上云用于训练改进，还是只在本地？
55:04
这是1X、Figure等家用机器人公司必须面对的合规问题。
55:10
GDPR、CCPA等隐私法规对这种"室内持续视觉记录"的态度还在演化。
55:18
第一条—数据是二〇二六年机器人智能真正的瓶颈，
55:22
不是模型架构、不是算力。
55:25
V L A模型架构已经基本收敛、算力可以买。
55:29
但是机器人演示数据没法从互联网爬—必须靠teleoperation一次一次人工生成。
55:37
所有认真做机器人AI的公司都在大手笔投入数据采集—这才是真正的护城河。
55:44
第二条—世界模型是被押注的下一个范式，
55:48
但短期内不会替代V L A，而是会成为V L A内部的规划模块。
55:54
"快慢双系统"—V L A做快速反应、
55:57
世界模型做慢速规划—是二〇二七到二〇三〇年最可能的架构演化方向。
56:05
第三条—泛化是机器人能否进入家庭的真正分水岭，
56:09
且这件事比硬件瓶颈更难解决。
56:13
当前V L A在"新场景、新物体"上的成功率经常低于20%20%20%20%20%。
56:19
这意味着机器人在受控的工厂、仓库场景可以可用，
56:23
但是离"家用"还有一个数量级的可靠性差距。
56:27
任何认真预测"机器人进家庭时间表"的人，
56:31
必须先回答"如何解决五级泛化"。
56:35
这就是机器人入门两部曲的下篇。
56:37
把上下篇放在一起总结—硬件这一侧：电机和电池是物理学约束、
56:43
过去二十年改善温和、未来五年也不会突变。
56:47
算力和感知接近够用。
56:49
灵巧手是当前最大的硬件瓶颈，决定机器人能进入哪些行业。
56:56
软件这一侧：V L A模型架构已经收敛、
56:59
规模在扩大。
57:00
数据是真正的稀缺资源、teleoperation是当前必须的人工成本。
57:05
世界模型是被押注的下一个范式但还没被验证。
57:10
泛化是机器人能否进家庭的最终分水岭、
57:13
可能比硬件瓶颈更难解决。
57:16
把这两件事合起来—人形机器人在二〇二八到二〇三〇年会大规模进入工厂、
57:23
仓库、餐饮、酒店服务场景。
57:27
进家庭的时间—更可能是二〇三二年以后，
57:31
不是二〇二七年。
57:33
任何看起来更乐观的预测，应该被严格地用"硬件天花板加软件泛化"两条线交叉检验。
57:41
下次你看到一段人形机器人demo视频，
57:44
希望你能用这两集的框架去判断—它演示的是哪一层的能力？
57:50
硬件的运动学、软件的固定任务执行、还是真正的泛化？
57:56
三种能力的商业价值完全不同。
57:59
这就是我希望听完这两集你能拿走的最重要的判断框架。
58:04
我们下次见。