本文经自动驾驶之心公众号授权转载，转载请联系出处。
助力重建非漫反射物体
尽管开创性的NeRF方法在各自领域达到了顶级性能，但根据观察对象的材料特性，它们可能会产生不满意的结果。例如，在处理金属兔模型时会产生几何失真、在重建具有镜面表面的烤面包机时会产生伪影等。
现有的3D重建算法在具有漫反射表面的物体上几乎可以达到完美的结果，但存在金属、玻璃等具有复杂光学特性的物体时，它们却持续失败。这是因为这些物体上的光折射、传输和镜面反射的复杂性导致了多视图间的颜色不一致，从而违反了现有方法的基本假设。
在为非漫反射物体开发3D重建方法的过程中，一个关键障碍是缺乏覆盖广泛复杂材料和物体形状的标准化数据集。
为了应对获得具有真实3D形状的大规模多样集合的挑战，全面的数据集OpenMaterial应运而生，具有多种具有挑战性的材料、多样的形状和光照条件。利用基于物理的渲染生成了具有卓越逼真度的密集多视图图像。OpenMaterial包含295种不同类型的材料，涵盖七个类别，包括导体、介电体和塑料。其中包括294种具有实验室测量折射率（IOR）值的真实材料，以及一种理想化的漫反射材料。数据集还包括1001种独特的几何形状，以确保形状的多样性，并具有723种不同的环境光照条件，复制了广泛的室内和室外场景。
OpenMaterial是首个专门设计用于定量评估针对具有复杂材料的物体的3D重建方法的数据集，其链接为：https://christy61.github.io/openmaterial.github.io/
数据集组成
OpenMaterial的目标是使现有3D重建算法能够在各种材料、形状和光照条件下进行全面评估。涵盖了七种材料类型：漫反射、导体、介电体、塑料、粗糙导体、粗糙介电体和粗糙塑料，总共295种不同类型。它包含1001个场景，每个场景都有一个独特的形状和一个随机选择的材料。光照条件也是从723种可用的高动态范围成像（HDRI）环境光照选项中随机选择的。为了创建一个平衡的数据集，每个七种材料类别都在143个场景中表示。除了来自多个相机位置的多视角图像外，数据集还包括3D网格模型、材料注释、相机位置、深度图和物体掩码，提供了丰富的数据集用于深入分析和测试。
基于物理的渲染
在现实世界中，每种材料与光的相互作用方式各不相同，在图像中呈现出特定的外观和挑战。双向散射分布函数（BSDF）在渲染过程中起着至关重要的作用，它以详细且物理准确的水平定义了光与表面的相互作用。BSDF既包含了双向反射分布函数（BRDF）描述的光在表面上的反射方式，也包含了双向透射分布函数（BTDF）描述的光在材料中的传输方式。这种双重能力使得能够准确模拟复杂的光学特性，如镜面反射、光泽和透射。一旦为一种材料建立了BSDF，渲染引擎就可以计算光在表面不同点的反射和传输的颜色和强度。最终图像中每个像素的RGB值通过整合来自所有入射方向的光，并考虑BSDF定义的材料特性，以逼真地捕捉材料在不同光照条件下的外观。
形式上，给定物体表面某点的法线方向ω、入射光方向ω以及出射光方向（反射光方向为ω，折射光方向为ω），物体表面材料的BSDF 可以表示为BRDF 和BTDF 之和，即：
微表面反射和折射的BRDF和BTDF[2] 定义如下：
其中，ω 表示ω 和ω 之间的中间向量。对于BRDF，ωωωωω；对于BTDF，ω 的定义不同，ωηωηω。对于理想反射和理想折射，ω 与法线方向ω 相同。 由菲涅耳方程（Fresnel's equation）确定， 是阴影遮蔽函数，这里我们定义为Smith的阴影遮蔽函数， 是微面法线分布函数。最后，η 和η 分别代表初始介质和透射介质的折射率，其中一个在我们的设置中为空气。
为了捕捉现实世界材料的特性，我们的模拟采用了实验室测量的折射率（IOR）。出射光的角度（斯涅尔定律）和强度（菲涅耳方程）均基于IOR进行精确计算。通过将这些公认的物理定律与现实世界测量的IOR相结合，我们为我们的数据集建立了坚实的基础，确保高度准确和逼真的模拟效果。
斯涅尔定律
设θ、θ、θ分别表示ω和ω之间的角度、ω和ω之间的角度以及ω和ω之间的角度。对于镜面反射，直接有θθ。相比之下，对于透明材料中的传输光，角度θ可以通过斯涅尔定律使用IOR计算，如下所示：
菲涅耳方程
一旦确定了出射光的角度，可以使用菲涅耳方程确定在两种介质界面上反射和传输的精确光量。对于反射光量，菲涅耳方程表示为：
传输光的数量，如通过介电材料的光，可以计算为 ，反映了能量守恒原理。对于导体，复杂的IOR包含一个虚部，用于计算光的吸收，具体细节可以在附录中找到。
材料类型
导体具有自由电子，可以在材料内部自由移动。受到光照时，这些自由电子吸收并重新辐射电磁波，导致大部分入射光被反射，如图1所示。这种高反射率是金属通常表现出光亮反射表面的原因，如图2所示。任何穿透表面的光在前0.1微米内被吸收，迅速转化为热量，使金属变得不透明。由于传输光快速被吸收并转化为热量，我们在渲染过程中选择仅使用BRDF来模拟反射组件，从而简化导体表面的模拟。
介电体如玻璃和纯水缺乏自由电子，这对于电导率是必需的；因此，与导体不同，光能够穿过这些材料而不被吸收，如图1所示。这一特性赋予它们显著的透射特性和透明外观，如图2所示。光与介电材料的相互作用受其透明度和内部结构的影响，可能导致传输或反射。我们在模拟中使用BRDF来模拟反射，使用BTDF来模拟传输。
塑料由有机化合物衍生的聚合物属于介电体的一个子类，表现出类似的反射和折射特性。它们独特的分子结构，加上内部颜料的加入，促进了漫反射，如图1所示，导致表面显示出光亮的镜面反射和柔和的外观，如图2所示。这些颜料选择性地吸收和传输各种光波长，创造出丰富的颜色光谱。在模拟中，塑料被建模为具有反射和折射外层与漫反射内层相结合，以提供其光相互作用的细致且物理准确的描述。我们分别使用BRDF和BTDF来模拟反射和传输。
漫反射材料在模拟中通常被理想化，以突出其均匀散射接收到的光照的特性，使表面在任何观看方向上看起来一致。为了准确地模拟这些材料，我们为BRDF分配了一个固定的反射率参数。为了增强在不同背景下的可见性，每种颜色被分配一个随机的灰度值，范围从0.15到0.85，确保材料在背景中显著突出。
微表面模型。鉴于BSDF，我们利用微表面模型来真实地模拟影响光散射的微观表面细节。具体来说，我们通过选择适当的微表面分布来适应光滑和粗糙的表面。对于导体、介电体和光滑表面的塑料，我们采用狄拉克δ分布ωδωω，该分布仅在表面法线方向ω处非零。这种选择确保了锐利和精确的反射和折射，如图2所示，有效地模拟了抛光金属、玻璃和塑料的真实外观。
对于具有粗糙表面的材料，包括粗糙导体、介电体和塑料，我们选择Trowbridge-Reitz（GGX）分布来模拟光滑的镜面反射和漫射折射。该分布的特点是其受粗糙度参数α影响的厚尾，更准确地模拟了这些粗糙表面的复杂光散射，增强了渲染材料的物理真实性和逼真度，如图2所示。
实验室测量的折射率（IOR）
为了确保图像在物理上准确地模拟现实世界的材料，从光学科学文献中记录的实验室测量中得出IOR值。因此模拟会根据不同波长的IOR变化调整材料的特性。
对于导体，IOR在不同的光波长下有所变化。例如，金在较短波长（接近蓝光）下吸收更多光，在较长波长（红光谱）下反射更多光，因此在图像中最终呈现出金黄色。因此，在可见光谱范围内（380 nm到780 nm）每5 nm采样一次光谱数据。这使我们能够通过捕捉其在不同波长下独特的光吸收来准确模拟其特征外观。相比之下，对于介电体和塑料，IOR随波长变化的幅度很小，采用589.29 nm的代表性折射率。这种简化提高了渲染效率，同时不牺牲最终输出的准确性，确保材料能够以高保真度且高效地表现出来。
形状和网格
数据集包含从Objaverse-1数据集中精心挑选的1001个独特形状[3]。为了确保形状的多样性和复杂性，选择了从简单物体（如吉他）到复杂物体（如由各种人类姿态和复杂面部表情组成的喷泉雕像）等各种形状。图3展示了一些例子。这些形状随后被随机分配到七种材料类别中。
场景照明和相机
为了获得高多样性的光照条件，使用了723种HDRI（高动态范围成像）环境图，涵盖了室内和室外场景。这些HDRI图像精确捕捉了现实环境中的全光谱光强度。这不仅增加了渲染图像的逼真度，还能在物体上展示复杂多变的反射和折射模式，如图4所示。这些HDRI图提供的广泛光照场景对于全面评估算法在处理多样和具有挑战性的光照条件下的效果至关重要。
为了消除尺度偏差，将对象大小标准化到单位球体内。使用斐波那契网格在上半球上采样相机位置，确保均匀分布和不重叠覆盖。然后将这些相机位置分为不同的训练（50）和测试（40）视点。所有高分辨率图像（1600x1200像素）都使用Mitsuba渲染，并存储在标准Blender格式中，并支持转换为COLMAP格式，方便研究社区的使用。
基线实验
总结一下
OpenMaterial是首个旨在定量评估复杂材料对象3D重建方法的大规模数据集，具有丰富的形状、材料类型和光照条件。数据集不仅支持全面的评估，还有助于分析现有算法处理挑战性材料的能力。
主要局限：数据集的扩展。尽管从理论上讲，可以通过整合现有开源数据集中的模型来增加形状的多样性，但许多模型的质量达不到现实世界的标准。这需要手动选择以确保真实感，如果对大数据量的需求增加，这一过程可能成为瓶颈。
