CAIE注册人工智能工程师

公众号作者

CAIE，全称 Certifed Artifcial Intelligence Engineer（人工智能工程师），简称 CAIE（赛一） ，是人工智能领域的技能等级认证。旨在评估和培养具备人工智能理论基础与实战能力的职业人士。

咱们平时拍的照片或者视频，其实视野特别窄，就像拿个望远镜看世界一样，想把它变成360度全景，让体验变得沉浸并不容易。

以前的老方法有个大毛病，它们非得知道当时相机是怎么摆的，比如镜头角度多大，是不是歪着拍的，这叫相机元数据。

这要是拍个照片还好说，如果是网上随便找个视频，这些信息根本没有，或者根本不准，以前的模型立马就抓瞎，生成出来的东西惨不忍睹。

谷歌DeepMind跟几个高校的大佬们联手搞了个创新颠覆模型360Anything。看名字就特别霸气，所有任何东西都能给你干成360度全景。

论文地址：https://arxiv.org/abs/2601.16192

项目地址：https://360anything.github.io/

咱们先说说最头疼的那个相机信息问题。以前的思路特别死板，非要把一张窄视角的照片硬生生投影到全景画布上，位置必须对得严丝合缝。

这就像拼图必须找到唯一的缺口。这就要求你必须极其精确地知道这张照片是从哪个角度拍的。

360Anything完全换了个路子，它把照片和全景图都当成是一串乱码一样的序列，直接丢给扩散大模型。

这模型就像个绝顶聪明的侦探，通过全盘审视这些乱码，自己就能琢磨出来，哦，原来这张窄图应该是这片全景的右下角，或者左边这块。

这就不需要任何人告诉它相机参数了，完全靠它自己吃透了海量数据后总结出来的经验，这不就省去了找相机信息的麻烦吗，拿来就能用。

再有个特别讨厌的毛病，就是生成的全景图左右两边拼在一起的时候，总有一条明显的接缝，特别破坏体验。

以前大家都是在图生成出来以后，想各种办法去修补，或者旋转一下图片糊弄过去。但360Anything的这帮人居然追根溯源，找到了罪魁祸首。

原来是因为编码图片的时候用的那个工具，在边缘喜欢补零，就像画画在边缘留了白，导致模型理解的时候出了偏差。他们想了个特别巧妙的招，叫循环潜在编码。

简单来说，就是在给图片编码前，先把左边缘的一块挪到最右边去，把右边缘的一块挪到最左边来，让它首尾相连。这一招简直是四两拨千斤，直接从根源上把那个接缝给抹平了，生成出来的全景图顺滑得像没有尽头一样。

为了让生成的视频看着更舒服，他们还加了个特别人性化的设计。咱们拍视频难免手抖或者乱转，生成出来的全景如果也是歪歪扭扭的，看着多晕啊。他们就在训练数据上下功夫，把所有视频都矫正过来，强制重力方向垂直向下。

不管你输入的视频是仰着拍还是歪着拍，它给你生成的全景永远是正的，就像把世界摆正了一样。这种设计让视频看起来特别稳，时间长了也不容易晕。

为了全面验证360Anything的性能，研究团队做了涵盖全景图像生成、全景视频生成、相机参数估计和3D场景重建的多维度实验，通过定量指标和定性分析，和当前主流方法进行了全面对比，结果全部都是最强的。

在LavalIndoor和SUN360两个数据集上，360Anything的表现可以说是碾压式领先。

在LavalIndoor数据集上，它的FID是8.0，比当前最优的CubeDiff低了15.8%；KID是0.22×10²，也低于CubeDiff的0.32×10²；特别是FAED仅为9.8，比CubeDiff的18.4降低了46.7%，几乎减半。

在SUN360数据集上，360Anything的FID为22.4，KID为1.27×10²，CLIP-FID为7.3，都优于CubeDiff；

FAED更是降到了3.8，比CubeDiff降低了50%；CLIP-score达到28.07，也是所有方法中最高的，说明它的文本对齐能力更强。

在视频生成任务中，360Anything在真实相机轨迹和模拟相机轨迹两种测试场景下，都取得了全面领先的成绩。

在真实相机轨迹测试中，它的PSNR达到25.75，比ViewPoint提升了10.7%；LPIPS仅为0.0468，远低于ViewPoint的0.1364。

FVD为483.4，比ViewPoint降低了42.7%；VBench的成像质量、美学质量和运动平滑度也都是所有方法中最高的。在模拟相机轨迹测试中，360Anything的各项指标也同样全面超越Imagine360、Argus和ViewPoint。

在相机姿态估计任务中，360Anything在MegaDepth数据集上的滚转角平均误差为0.87度，俯仰角平均误差为2.56度；

在LaMAR数据集上滚转角平均误差为0.68度，俯仰角平均误差为1.23度，全面超越MSCC、ParamNet和UVP等监督基线，仅略低于当前最优的GeoCalib，差距也就0.5度左右。

这一结果充分证明，360Anything通过数据驱动的方式，已经学习到了精确的几何对应关系，具备了强大的几何理解能力。

360Anything的突破性进展，不仅推动了全景生成技术的发展，还为多个领域的应用开辟了新的可能性。

以后咱们不管是做VR体验，还是想让机器人更聪明地看世界，甚至是在游戏里快速搭个超大场景，这个不用管相机怎么摆、还能生成无接缝全景的技术，绝对是个神器。

看着AI从死背公式变得越来越像人类那样凭直觉去理解世界，这种感觉还真挺奇妙的。这大概就是技术发展的魅力吧，总是能在不经意间给我们带来惊喜。

想转型AI，不被时代淘汰

CAIE注册人工智能工程师认证

岗位能力 × AI工具 ×转型方向 × 场景落地 = 新AI职业价值

扫码免费领取《AI工程师入门学习指南》