本文经自动驾驶之心公众号授权转载，转载请联系出处。
写在前面&笔者的个人理解
最近在体渲染方面的工作，例如NeRF和3GS，在学习到的隐式神经辐射场或3D高斯分布的帮助下，显著提高了渲染质量和效率。在演示表示的基础上进行渲染，vanilla 3DGS及其变体通过优化参数模型，在训练过程中每次迭代都进行单视图监督，从而提供实时效率，这是NeRF采用的。因此某些视图过拟合，导致新视角合成和不精确的3D几何中的外观不令人满意。为了解决上述问题，我们提出了一种新的3DGS优化方法，该方法体现了四个关键的新贡献：1）我们将传统的单视图训练范式转化为多视图训练策略。通过我们提出的多视图调节，3D高斯属性得到了进一步优化，而不会过拟合某些训练视图。作为通用解决方案，我们提高了各种场景和不同高斯变体的整体精度。2）受其他视角带来的好处的启发，我们进一步提出了一种跨内参指导方法，从而针对不同分辨率进行了从粗到细的训练过程。3）基于我们的多视图训练，进一步提出了一种交叉射线高斯split&clone策略，从一系列视图中在射线交叉区域优化高斯核。4） 通过进一步研究致密化策略，我们发现当某些视角明显不同时，densification的效果应该得到增强。作为一种解决方案，我们提出了一种新的多视图增强致密化策略，其中鼓励3D高斯模型相应地被致密化到足够的数量，从而提高了重建精度。我们进行了广泛的实验，以证明我们提出的方法能够改进基于高斯的显式表示方法的新视图合成，其峰值信噪比约为1 dB，适用于各种任务。
- 项目主页：https://xiaobiaodu.github.io/mvgs-project/
总结来说，本文的主要贡献如下：
- 首先提出了一种多视图调节训练策略，该策略可以很容易地适应现有的单视图监督3DGS框架及其变体，这些变体针对各种任务进行了优化，可以持续提高NVS和几何精度。
- 受不同外参下的多视图监督带来的好处的启发，提出了一种交叉内参指导方法，以从粗到细的方式训练3D高斯人。因此3D高斯分布可以与像素局部特征保持更高的一致性。
- 由于致密化策略对3DGS至关重要，我们进一步提出了一种交叉射线致密化策略，在2D loss图引导下发射射线，并对重叠的3D区域进行致密化。这些重叠区域中的致密三维高斯分布有助于多个视图的拟合，提高了新型视图合成的性能。
- 最后但同样重要的是，我们提出了一种多视图增强致密化策略，在多视图差异显著的情况下加强致密化。它确保了3D高斯分布可以被充分稠密，以很好地适应急剧变化的多视图监督信息。
- 总之大量实验表明，我们的方法是现有基于高斯的方法的通用优化解决方案，可以将各种任务的新视图合成性能提高约1 dB PSNR，包括静态对象或场景重建和动态4D重建。
MVGS方法介绍
高斯散射最近被提出用于实时新颖的视图合成和高保真3D几何重建。高斯散射不是使用NeRF中的密度场和NeuS中的SDF等隐式表示，而是利用一组由其位置、颜色、协方差和不透明度组成的各向异性3D高斯来参数化场景。与NeRF和NeuS等先前的方法相比，这种显式表示显著提高了训练和推理效率。在渲染过程中，高斯散斑还采用了NeRF之后的基于点的体绘制技术。如图2（a）所示，由于其点采样策略和隐式表示，NeRF在训练迭代中无法接收多视图监督。通过沿光线r（p，E，K）混合一组3D高斯分布，计算具有相机外部函数E和内部函数K的图像中每个像素p的视图相关辐射C。虽然NeRF与辐射场中采样器指定的点近似混合，但3DGS通过沿光线r用N个参数化内核进行光栅化来精确渲染。
多视角调节训练
给定T对GT图像I及其相应的相机外部函数E和内部函数K，3DGS的目标是重建由多视图立体数据描述的3D模型。在训练策略方面，3DGS遵循NeR的惯例，通过每次迭代的单视图监督来优化参数模型。关于训练，3DGS通常通过每次迭代的单一信息视图进行监督来优化，其中一次迭代中的监督被随机选择为（Ii，Ei，Ki）。因此，原始3DGS的损失函数可以相应地公式化为：
考虑到隐式表示（如NeRF）依赖于预训练的采样器来近似最自信的混合点，每次迭代的多视图监督并不能确保对单视图训练的改进，特别是当采样器没有如图2（a）所示经过训练时。另一方面，明确定义的高斯核不依赖于采样器来分配，如图2（b）所示，这使得我们提出的多视图训练策略适用于图2（c）所示的情况，其中G中的大多数混合核可以用多视图加权梯度反向传播，以克服某些视角的过拟合问题。
与原始的单视图迭代训练不同，我们提出了一种多视图调节训练方法，以多视图监督的方式优化3D高斯分布。特别是，我们在迭代中对M对监督图像和相机参数进行采样。请注意，M组匹配的图像和相机参数被采样并且彼此不同。因此，我们提出的梯度积分单次迭代中的多视图调节学习可以表示为：
与原始3DGS损失的唯一区别是，我们提出的方法为优化一组3D高斯G提供了梯度的多视图约束。这样优化每个高斯核gi可能会受到多视图信息的调节，从而克服某些视图的过拟合问题。此外，多视图约束使3D高斯人能够学习和推断与视图相关的信息，如图4左侧突出显示的反射，因此我们的方法可以在反射场景的新颖视图合成中表现良好。
跨内参指导
如图2底部所示，受图像金字塔带来的好处的启发，我们提出了一种从粗到细的训练方案，通过简单地补充更多的光栅化平面，使用不同的相机设置，即内在参数K。具体而言，如图2（d）所示，通过简单地重新配置焦距fk和K中的主点ck，可以构建具有下采样因子S的4层图像金字塔。根据经验，设置sk为8足以容纳足够的训练图像进行多视图训练，因子sk等于1意味着不应用下采样操作。对于每一层，我们都匹配了多视图设置。特别是，较大的下采样因子能够容纳更多的视图，从而提供更强的多视图约束。在最初的三个训练阶段，我们每个阶段只运行几千次迭代，而没有完全训练模型。由于目标图像是降采样的，因此模型在这些早期阶段无法捕捉到精细的细节。因此，我们将前三个训练阶段视为粗训练。在粗略训练期间，合并更多的多视图信息会对整个3D高斯模型施加更强大的约束。在这种情况下，丰富的多视图信息为整个3DGS提供了全面的监控，并鼓励快速拟合粗糙的纹理和结构。一旦粗略的训练结束，精细的训练就开始了。由于之前的粗略训练阶段提供了3DGS的粗略架构，精细训练阶段只需要为每个3D高斯模型细化和雕刻精细细节。特别是，粗训练阶段提供了大量的多视图约束。它将学习到的多视图约束传递给下一次精细训练。该方案有效地增强了多视图约束，进一步提高了新颖的视图合成性能。
跨射线稠密化
由于体渲染的性质和3DGS的显式表示，某些区域的3D高斯分布在渲染时对不同的视图有重大影响。例如在以不同姿态拍摄中心的相机进行渲染时，中心3D高斯分布至关重要。然而找到这些区域并非易事，尤其是在3D空间中。如图2所示，我们提出了一种交叉射线致密化策略，从2D空间开始，然后在3D中自适应搜索。具体来说，我们首先计算多个视图的损失图，然后使用大小为（h，w）的滑动窗口定位包含最大平均损失值的区域。之后，我们从这些区域的顶点投射光线，每个窗口有四条光线。然后，我们计算不同视角光线的交点。由于我们每个视角投射四条光线，交点可以形成几个长方体。这些长方体是包含重要3D高斯分布的重叠区域，在渲染多个视图时起着重要作用。因此，我们在这些重叠区域中加密了更多的3D高斯分布，以促进多视图监督的训练。该策略依赖于对包含对多个视图具有高意义的3D高斯分布的重叠区域的精确搜索。首先，我们选择损失指导，因为它突出了每个视图应该改进的最低质量区域。其次，光线投射技术使我们能够定位包含一组对这些视图有重大贡献的3D高斯分布的3D区域。基于精确的位置，这些区域中的3D高斯分布可以被视为多视图联合优化的关键。通过这种方式，我们将这些3D高斯图像加密到一定程度，以共同提高这些视图的重建性能。
多视图增强稠密化
实验结果
结论
在这项工作中，我们提出了MVGS，这是一种新颖而通用的方法，可以提高现有基于高斯的方法的新颖视图合成性能。MVGS的核心在于提出的多视图调节学习，约束了具有多视图信息的3D高斯优化。我们表明，我们的方法可以集成到现有的方法中，以实现最先进的渲染性能。我们进一步证明了我们提出的跨内禀制导方案引入了强大的多视图约束，以获得更好的结果。我们还证明了所提出的多视图增强致密化和交叉射线致密化在增强致密化以促进3D高斯优化方面的有效性。大量实验证明了我们方法的有效性，并表明我们的方法取得了最先进的新颖视图合成结果。
