CAIE注册人工智能工程师

公众号作者

CAIE，全称 Certifed Artifcial Intelligence Engineer（人工智能工程师），简称 CAIE（赛一） ，是人工智能领域的技能等级认证。旨在评估和培养具备人工智能理论基础与实战能力的职业人士。

现在实体AI机器人赛道很火，但有个问题一直没解决好，就是怎么能让机器人精准get到“运动”这件事。不管是让机器人干精细活，还是用文字生成连贯的视频，都得先搞懂接下来该怎么动。

之前那些模型不是只能抓个大概，就是得靠一大堆精准标注的数据，普通场景根本用不转。

全球第一CRM公司Salesforce的AI团队搞了个创新模型FOFPred，把视觉语言模型和扩散架构凑到一起，居然可以用语言直接指挥未来的运动轨迹，机器人操控和视频生成一下就有了质的飞跃。

论文地址：https://arxiv.org/pdf/2601.10781

Github：https://github.com/SalesforceAIResearch/FOFPred

你想想，让机器人帮你递个东西，它得知道手该往哪动、动多快，总不能只看眼前的画面和你的指令就瞎猜吧？以前的机器人模型就是这么干的，只靠RGB图像和文字，经常“理解跑偏”，复杂点的任务根本扛不住。

还有视频生成，你说“让蝴蝶从左飞到右”，以前的模型要么飞得歪歪扭扭，要么干脆没动静，就是因为没搞懂运动的本质。

光流其实是个好东西，它能捕捉每个像素的运动轨迹，就像给画面里所有东西都画了运动路线图，比那些只标几个点的稀疏轨迹靠谱多了。

但难就难在，怎么让机器预测未来的光流，还得听语言的指挥。而且网上那些人类活动的视频虽然多，但又吵又乱，字幕也不准，根本没法直接用。

而FOFPred直接解决了这个大难题，算是把VLM和扩散模型玩明白了，把它俩捏在了一起。

模型要干活，得先知道“看什么”和“听什么”。它会同时接收两张连续的画面和一段文字指令，比如“把瓶子从左边移到右边”。

FOFPred先靠Qwen2.5-VL这个视觉语言模型，把文字和画面揉在一起，提取出两者的关联特征。

比如“瓶子”和“左边到右边”的对应关系。再用Flux.1VAE把画面单独编码，变成机器能读懂的视觉特征，还会把文字和视觉特征调成一样的格式，方便后续处理。

另外，还会加一点随机噪声，让模型能生成更多样的运动方式，不会死板一块。

扩散Transformer是FOFPred的核心，相当于整个系统的决策中心。基于OmniGen2DiT做了改进，专门针对“时间序列”做了优化。

就像我们看视频能记住前一秒的画面，这个模块能给每帧画面打上“时间戳”，清楚区分哪帧是过去、哪帧是未来。

再加上时空注意力机制，能同时关注画面里的空间位置和时间变化，比如瓶子现在在哪、接下来该往哪动，都能算得明明白白。而且这个模块只训练关键部分，其他权重都保持不变，既保证了效果又省了不少算力。

以前的光流都是一堆复杂的向量，机器处理起来费劲，还没法利用现成的强大模型。FOFPred想出了个绝招，把光流转换成RGB图像的形式。它先把光流的运动幅度和方向，转换成极坐标，再映射到HSV颜色空间里。

不同的运动方向对应不同的颜色，运动快慢对应颜色深浅。这样一来，光流就变成了一张彩色的“运动地图”，既能被VAE这样的模型高效处理，还能直观看到运动轨迹，简直一举两得。

此外，FOFPred能用web级的视频数据，全靠一套预处理流程，简直是点石成金的操作。首先是相对光流计算，网上的视频很多都是手持拍摄的，画面本身就在动，和物体的运动混在一起，模型根本分不清。

这个算法会先估算出相机的运动轨迹，再从原始光流里把相机运动的部分去掉，只留下物体本身的运动。就像我们走路时看路边的树，虽然我们在动，但能分清是树没动还是我们在动，模型现在也能做到这一点了。

然后是运动引导帧采样，视频里很多片段都是静态的，比如对着一个东西拍半天没动静，这些片段对训练没用还浪费算力。

模型会先把视频帧缩小，用快速算法估算光流，只挑选那些运动明显的片段来训练。这样一来，训练数据全是精华，模型学起来自然又快又好。

为了测试FOFPred性能，研究团队在三大权威测试里的表现，直接碾压了之前的主流模型。

在CALVIN机器人测试里，让机器人完成五个连续的任务，FOFPred在全量数据训练下，第五个任务的成功率达到78.7%，平均完成长度4.48。

比之前的顶尖模型DreamVLA还略胜一筹。就算只给10%的数据，它的任务4成功率居然提升了8.8%，数据效率真的没话说。

RoboTwin双臂机器人测试里，五个需要双手协同的任务，FOFPred平均成功率68.6%，比VPP基准模型高了6.8%。尤其是放置双鞋这个难度不小的任务，提升了8%，足以看出它对复杂运动的理解有多到位。

视频生成的SSv2测试里，不管是画面相似度、清晰度，还是运动保真度，FOFPred都比CogVideoX等模型表现更好。

最关键的是，其他模型还需要手动标注轨迹或掩码，FOFPred只靠文字和初始画面就行，实用性直接拉满。

想转型AI，不被时代淘汰

CAIE注册人工智能工程师认证

岗位能力 × AI工具 ×转型方向 × 场景落地 = 新AI职业价值

扫码免费领取《AI工程师入门学习指南》