下一代 AI 的互联网,可能不在互联网里
——从现实数据、世界模型,到动物与机器自己的世界

大语言模型有一个很容易被低估的幸运:它出生的时候,人类已经替它积累了几十年的训练数据。

当然,没有人真的在替 GPT 工作。程序员写代码,是为了做软件;网友在论坛里提问,是因为真的遇到了问题;研究人员写论文,是为了研究和发表;一个人在博客里写下自己的生活,也只是因为他当时想写。几十年里,人类因为完全不同的目的,把文字、代码、知识和争论一点点留在互联网上,直到大模型出现以后,我们才突然给这些彼此无关的东西起了一个共同的名字:预训练语料。

这件事其实比 Transformer 本身更值得琢磨。

假如把互联网从历史上删掉,再给 OpenAI、Google、Anthropic 同样的算法和 GPU,让这些公司重新雇人写出 Wikipedia、GitHub、Stack Overflow、新闻、小说和几十年的论坛讨论,大模型大概不会像今天这样迅速出现。总不能靠几家公司,把人类过去几十年在互联网上留下来的东西重新生产一遍。

具身智能今天面对的,可能正是一个类似的问题。

如果未来的通用机器人真的也需要某种“互联网级别”的现实经验,我们总不能靠几家机器人公司雇几十万人,把现实世界从头表演一遍:开一百万次门,拿一千万次杯子,在十万种房间里行走,把各种成功重新成功一次,把各种失败重新失败一次。这件事和“重新雇人写一遍互联网”有一种相似的荒诞,因为数字世界最伟大的优势之一,是复制几乎不要钱,而物理世界恰恰相反。

一段代码可以复制一百万份,一个机器人真正拿起杯子一百万次,却必须让现实真的发生一百万次。杯子要在那里,机械臂要动,电要消耗,硬件会磨损,失败以后还得有人把场景重新摆回去。

物理世界没有 Ctrl+C。

所以具身智能迟早会碰到一个比“怎样采更多机器人数据”更大的问题:现实世界里,有没有一些经验本来每天就在大量发生,只是我们过去没有把它们组织成机器可以学习的语料?

一、真正值得继承的,不是互联网爬虫,而是数据经济学

这里必须先把一个容易混淆的类比拆开。

文本之于大语言模型,和视频之于机器人,并不对称。GPT 输入的是 Token,最后输出的仍然是 Token;它看过一百万篇文章之后,学到的语言结构可以直接体现在自己生成的文章里。机器人却不同,摄像头记录的是像素,最后真正要输出的是动作。视频里一个人伸手拿起杯子,看起来只是几帧画面,真正落到机器人身上,却会变成关节轨迹、速度、接触位置、夹持力,以及物体开始滑动以后该怎样修正。

所以“把互联网视频全部喂给机器人”不会像“把互联网文本喂给 LLM”那样直接奏效。

但互联网仍然给我们留下了另一个更重要的启示:不要让最昂贵的数据承担所有学习任务。

如果一个机器人连“杯子一般放在桌上”“人走进门以后不会下一秒出现在屋顶”“物体被遮挡以后通常仍然存在”这种知识,都必须靠自己的机械臂和真实身体一点点试出来,那真机数据永远不会够。大量自然视频完全可以先承担这些基础工作,让模型知道世界通常怎样连续、什么东西会动、什么东西不会动、人和物体通常怎样发生关系。

真正轮到机器人自己的身体时,再去学习那些只靠观察无法确定的问题。

二、看过一万次开门,还是不知道自己该用多大力

一个摄像头可以看一万人开门。久而久之,模型会知道门把手通常在哪里,人走到门前会减速,手靠近门把以后门通常会打开,门打开之后空间结构会发生变化。

这些知识当然有价值。

可如果下一步问:从这个方向推会怎样?如果少用一半力呢?如果握偏五厘米呢?如果门卡住了呢?

问题立刻变了。

前面是观察世界,后面是在问:如果我自己介入这个世界,它会怎样回答我?

这也是为什么自然视频再多,真正的机器人交互数据仍然不会完全消失。Meta 的 V-JEPA 2 就很能说明这个问题:它首先在超过 100 万小时的互联网视频等视觉数据上进行自监督预训练,学习运动和世界变化;真正用于机器人规划时,研究团队仍然加入了少量带机器人动作的数据,让模型学会具体行动与后续状态之间的关系。

这里真正值得关注的,并不是“机器人数据已经少到几十小时了”这种宣传意义上的数字,而是另一件事:看过一百万小时世界以后,那几十小时真实交互仍然不可省。

因为观察只能告诉你世界通常怎样运行,身体经验才会告诉你自己怎样改变世界。

三、廉价数据负责把世界看够,昂贵数据负责教会身体

如果这样理解,未来具身智能的数据体系反而会清楚很多。

最便宜的一层是观察。公开视频、监控、第一视角录像、车载视频、动物视频,都可以帮助模型建立空间、物体、运动和事件的基础表示。

再贵一层,是带 Action 的数据。汽车为什么特别有价值,就是因为它不仅看到了道路,还知道自己有没有加速、转向和刹车;机器人遥操作也是同样的道理,观察与动作第一次真正绑在一起。

最昂贵的一层则发生在接触以后。夹爪到底有没有夹稳,物体是不是正在滑,材料有没有发生形变,力度应该继续增加还是立即减少,这些事情往往已经超出了纯视觉的能力边界,需要触觉、力觉和机器人自己的本体状态。

所以我越来越喜欢一句话:

廉价数据负责让模型把世界看够,昂贵数据负责教它怎样使用一副具体的身体。

这不是说廉价数据能够替代机器人数据,恰恰相反,真正值得期待的是另一件事:廉价数据越来越多以后,昂贵数据需要得越来越少。

四、真正重要的不是“有用”,而是能省多少钱

因此未来衡量 Physical Common Crawl 有没有价值,可能不应该只看“加入视频预训练以后 Benchmark 提升了几个点”,而应该看一个更直接的问题:它究竟减少了多少昂贵的真实交互?

假设一个任务原来需要一百小时真机训练,看完大量自然视频以后只需要八十小时,说明有价值;如果最终只需要二十小时,价值就非常大;如果无论看过多少视频,最后仍然需要一百小时,那么自然视频也许让视觉模型变聪明了,却没有真正改变机器人最贵的成本结构。

这其实是一种“数据置换率”。

未来真正值得出现的 Scaling Law,也许不只是横轴放更多数据、纵轴看更高精度,而是横轴不断增加廉价的 Observation Data,纵轴去看达到同样机器人能力所需要的真机时间能否持续下降。

如果下降得足够快,Physical Common Crawl 才真正拥有类似互联网预训练的经济杠杆。

五、机器人真正缺少的,可能不是更多眼睛

还有一个问题很容易被“海量视频”掩盖。

过去几十年,人类留下了惊人的文字、图片、声音和视频,却很少留下握起杯子时手指承受了多少力,布料被拉动时怎样形变,鞋底打滑的一瞬间产生了什么振动,空气中的化学变化又是什么样子。

原因很简单。互联网是给人看的,不是给未来机器人训练的,人没有理由把每一次指尖压力上传到朋友圈。

于是今天会出现一个很奇怪的数据结构:视觉信息多到泛滥,真正和身体直接相关的触觉、力觉、本体状态和化学信息却少得惊人。

可以把它叫作 Sensor Debt,传感器债务。

所以具身时代的数据建设,未必只是继续生产第 1000 亿小时 RGB 视频。更重要的,也许是开始补那些过去几十年根本没有被大规模记录过的感觉。

六、让现实世界自己开始留下数据

大语言模型最值得机器人学习的,不是“互联网越大越好”,而是一种更朴素的数据经济学:先让便宜的数据解决它能够解决的问题,再把稀缺、昂贵的数据集中到真正不可替代的地方。

不要拿最贵的数据去教最便宜的知识。

如果一台真实机械臂花几个小时,只是在重新学习公开视频里出现过一亿次的常识,那是一种浪费。真正昂贵的机器人身体应该留给那些只有身体自己才能回答的问题。

所以具身智能真正需要的,也许不是一个互联网,而是几张相互连接的网:一张记录世界通常怎样运行,一张记录行动怎样改变世界,还有一张记录身体真正接触现实以后发生了什么。

未来真正的突破,不是第一张网把后两张网消灭,而是第一张网越来越大以后,第二张网可以越来越小;前两张网足够强以后,最昂贵的接触数据只承担真正不可替代的部分。

如果有一天,一台全新的机器人只需要很少自己的真实交互,就能调用此前从多年现实记录中学来的世界知识完成大量任务,那才是具身智能真正意义上的互联网时刻。

大语言模型吃掉的是人类已经写下来的互联网。

具身智能真正要寻找的,则是另一种机制:

让现实世界自己开始留下数据。


思考与探讨
你觉得未来机器人学会抓取或开门,是靠看更多的短视频,还是必须靠自己的机械臂在物理世界真正摔打出来?欢迎在评论区分享你的观点。

本文收录于《具身智能:物理世界的下一代互联网》系列专栏(第 1 篇 / 共 6 篇)。