CAIE注册人工智能工程师

公众号作者

CAIE，全称 Certifed Artifcial Intelligence Engineer（人工智能工程师），简称 CAIE（赛一） ，是人工智能领域的技能等级认证。旨在评估和培养具备人工智能理论基础与实战能力的职业人士。

现在的机器人技术看着热闹，但真到了乱糟糟的真实环境里，大多还是有点笨手笨脚。

咱们人类瞥一眼就能知道东西碰一下会怎么动、会不会变形，可机器人得靠一堆复杂程序、反复调试才能完成简单操作。

但最近斯坦福大学和英伟达的团队联手推出了一个叫PointWorld的3D世界模型，直接把这个难题给破了。

你有没有想过，为什么家里的扫地机器人只能按固定路线跑，稍微地上多了个袜子就卡住？或者工厂里那些机械臂，换个零件就得工程师重新调半天？

根本原因就是，现在的机器人太死板了，它们不会像人一样，看一眼就知道推一下纸巾盒它会往哪滚、拉一下围巾它会怎么变形。而PointWorld要解决的，正是这个“空间直觉”难题。

简单来说，它是个能脑补物理的3D世界模型。你给它一张带深度信息的照片，就是普通RGB-D相机拍的那种。

它就能猜出，如果机器人伸手去推、拉、开、关，接下来几秒里场景里所有东西会怎么动。

重点来了，它不需要提前看过这个物体，也不用你手把手教它怎么做，更不用在仿真环境里反复训练。就像你第一次见到微波炉，也能大概知道门是往外拉还是往右推，PointWorld就在学这种“常识”。就是说0样本，就能完成自主学习。

那它是怎么做到的？核心思路特别聪明：把整个世界和机器人的动作，都转化成“点的流动”。

想象一下，你用激光扫描仪扫一遍房间，得到一堆密密麻麻的3D点，每个点代表一个位置。当机器人动起来时，这些点有的会移动、有的会变形。

PointWorld不去管物体叫什么、是什么材质，而是专注追踪这些点怎么流。这就避开了传统方法里必须先识别物体、再查物理参数的麻烦步骤。

为了让不同机器人都能用这个模型，它连机器人动作也用3D点流来表示。和环境点流不一样，机器人的点流是通过自身的URDF文件预测出来的，相当于机器人在脑子里“预演”自己的动作轨迹。

就是根据机器人的关节配置，在初始时刻采样机器人表面的点，然后跟着关节运动轨迹，算出每个时间点这些点的位置。实际用的时候，为了省劲儿，只需要从夹持器上采样几百个点就够了。

这种方式在遮挡场景里特别好用，比如机器人抱着大箱子，接触的地方看不见，但通过预演的点流，依然能清楚知道怎么互动，保证动作准确。而且不管是单臂机器人、双臂机器人，甚至不同形状的夹持器，都能通用，大大降低了部署成本。

有了环境和动作的表示，接下来就是让模型预判结果了。PointWorld没搞复杂的定制架构，而是用了现在最先进的Point TransformerV3点云骨干网络，效率和效果都有保障。

它会把环境的点云和机器人的动作点流合并成一个点云，环境点的特征靠冻结的DINOv3编码器提取，机器人点则加上时间信息，然后让骨干网络处理，最后一次性预测出未来一段时间内每个点的位移。

这里有个特别聪明的设计，就是分块预测。它不像以前的模型那样一步一步慢慢算，而是一次预测未来10步、也就是1秒内的状态，不仅算得快（0.1秒就能出结果），而且时间一致性特别好，不会越算越偏。对比那些基于像素的模型，动不动就要算好几秒，这个速度简直是碾压级的。

训练的时候，PointWorld也有自己的小妙招。首先，机器人操控时只有少数点会动，大多数点都是静止的，如果平均用力训练，有效信号就被稀释了。所以它会重点关注那些运动的点，给这些点更高的权重，让训练更有针对性。

其次，真实世界的数据难免有噪声，模型会自己预测每个点的不确定性，对那些不靠谱的数据自动降低权重，还用上了Huber损失来减少异常值的影响。这样一来，模型训练得又稳又准，不会被噪声带偏。

再好的模型也得靠数据喂，PointWorld能这么厉害，背后是一个规模超大的3D交互数据集在撑着。

这个数据集足足有200万条轨迹、累计500小时的交互数据，涵盖了单臂、双臂、全身机器人在真实和模拟环境里的各种操作，也是目前已知最大的3D动力学建模数据集。

数据集主要来自两个现有数据集，DROID的真实世界交互数据和BEHAVIOR-1K的模拟环境数据。真实数据加模拟数据的组合，既能让模型学到真实世界的复杂性，又能获得丰富的交互模式，泛化能力自然拉满。

为了让真实数据的3D标注准确，团队花了很多心思。先用Foundation Stereo优化深度信息，再通过优化程序校准相机姿态，最后用CoTracker3做逐像素跟踪，把这些2D轨迹还原成3D点流。

这么一套操作下来，不仅恢复了DROID数据集中60%以上的可靠3D点流，而且精度极高，平移误差只有1.8厘米，旋转误差不到2度。

模拟数据方面，团队也做了筛选，只保留机器人和物体有接触、物体有运动的轨迹，确保数据的有效性。而且存储方式特别聪明，不用存每帧的密集点云，只存关键信息就能还原3D轨迹，大大节省了空间。

实际测试效果也挺亮眼的，研究团队在真实Franka机械臂上做了零样本实验，就是模型完全没在这个具体环境里训练过，直接上手干。

结果显示，关抽屉成功率90%，折围巾80%，推纸巾盒60%。但是微波炉开门只有30%成功。但想想也合理，铰链结构复杂、力反馈微妙，连人都不一定一次拉开。关键是，它失败的时候不是乱撞，而是有逻辑地试探，说明它确实在推理，而不是瞎蒙的。

目前这个世界模型还在审核阶段，研究团队已经明确表示会很快开源。

即将开源：https://github.com/huangwl18/PointWorld

想转型AI，不被时代淘汰

CAIE注册人工智能工程师认证

岗位能力 × AI工具 ×转型方向 × 场景落地 = 新AI职业价值

扫码免费领取《AI工程师入门学习指南》