CAIE注册人工智能工程师

公众号作者

CAIE，全称 Certifed Artifcial Intelligence Engineer（人工智能工程师），简称 CAIE（赛一） ，是人工智能领域的技能等级认证。旨在评估和培养具备人工智能理论基础与实战能力的职业人士。

现在高斯泼溅这个技术已经很火，不管是虚拟场景复刻、数字孪生还是三维建模，基本都绕不开这项技术。

但一直以来有个老大难问题始终没被彻底解决，那就是现实里随处可见的半透明材质，像汽车车窗、玻璃幕墙、塑料薄膜这类东西，表面同时存在清晰反光和背后透光效果。

而北京大学的AI研究团队提出了一个重磅框架RT-Splatting，专门来解决这两大难题。

你想还原高光亮面的反光细节，模型就喜欢在物体后面瞎生成一堆漂浮的噪点伪影，不仅扭曲了反光本身，还把本该透过去看到的背景挡得严严实实。

后来业内也搞出不少改良方案，比如用延迟渲染思路先把各种属性存下来再着色，可它天生跟不透明物体更搭，处理透明材质只能抓到最表面那一层，透射光线根本叠不上去。

还有方案把透明物体和背景拆开重建，但要是隔着车窗看车内，这套方法直接翻车。

底层架构全面革新

北大研究团队就是看准了这些通病才另辟蹊径，RT-Splatting的核心思路其实挺好懂。不再用一个参数笼统定义粒子的透明属性，而是把几何存在感和光学通透感彻底拆开。

简单来说就是给每个微小渲染粒子发个双重身份证，既能当实体表面承接反光，又能做通透介质放过背景光线。

最核心的就是占用度与透明度解耦设计。传统方法只用一个透明度参数同时决定物体的实体感和光线通透度，这简直就是左右为难。

调高透明度能做出清晰反光，但玻璃就变不透明了；调低透明度倒是透光了，表面反光又糊成一团。

RT-Splatting直接把这个参数一分为二，一个是几何占用度，数值越高表面存在感越强，捕捉镜面反光细节就越精准。

另一个是光学透明度，专门管光线能不能穿过，数值越低材质越通透。

这就好比给玻璃立了个规矩，几何上它是完整实心表面能满足反光需求，光学上又是高通透状态绝不遮挡背后景物，完美解决了两头不讨好的毛病。

双管齐下的混合渲染

顺着这个基础，全新的混合渲染流水线也就水到渠成了，分成延迟渲染和前向体素渲染两条支路。

延迟渲染支路专门对付表面高频镜面反光，把法线材质这些关键属性缓存下来，再通过着色函数算出环境反光效果。

考虑到彩色玻璃这种自带底色的材质，研究团队还给粒子加了内部散射颜色和透射率属性，让玻璃不再是一张单调的透明薄片。

前向体素渲染支路则专心累积背景透射光线，让背景光线顺当穿过半透明表面。之后把反光和透射效果融合时，还加入一个可学习的衰减因子来模拟人眼真实感受。

强光高光区域会自然弱化背后景物，微弱反光下背景细节又能清晰显现，这点真是神来之笔。

不过反光和透射一起训练时特别容易发生梯度混淆，模型容易凭空生成多余噪点把背景弄脏。

研究团队为此独创了感知镜面的梯度门控机制，通过计算局部反光画面的色彩方差，判断当前像素是不是属于复杂镜面区域，再生成一个门控权重。

实测数据