本文经自动驾驶之心公众号授权转载，转载请联系出处。
文章：RMFA-Net: A Neural ISP for Real RAW to RGB Image Reconstruction
链接：https://arxiv.org/abs/2406.11469
问题引出
图像信号处理器（ISP）是一种专门设计的系统，用于从CMOS传感器捕获的原始数据重建RGB图像。现有ISP系统是基于传统算法的，依赖于对传感器的深入理解和复杂的调试，这限制了它们在自动驾驶和机器人等领域的适用性。虽然在基于人眼视觉的标准下，传统算法取得了较好的效果，但在视觉感知系统中无法很好适配。基于深度学习的ISP算法作为一种具有显著潜力和多功能性的方法出现。近年来，越来越多的人对开发基于学习的算法以设计高效且高性能的ISP算法产生了兴趣，这些算法可以针对特定领域的需求量身定制。
然而，现有算法并未充分考虑raw数据的特定特性，如黑电平和CFA，这可能会在处理不当时对纹理和颜色产生负面影响。此外，raw数据中的不均匀曝光也未被仔细考虑，导致对比度和亮度信息无法准确恢复。现有算法在数据处理的时候，破坏了原始数据中的高频信息，导致高频细节难以回复，同时会带来模糊等问题。本文介绍了RMFA-Net以解决这些问题。我们进行显示黑电平校正以减轻暗场景中的颜色偏移。为了保留高频信息并防止错位，我们提出了一种新的三通道分离模式。为了解决不均匀曝光的问题，我们个基于Retinex理论的设计了色调映射模块，从而最终获得更好的图像效果。
框架介绍
Figure 1 RMFA-Net网络结构
图1（a）提供了本文所提出的深度学习架构的示意图。该网络分为三个主要部分：输入模块，RMFA模块栈，以及输出模块。输入模块接受大小为256 × 256 × 3的图像作为输入，并将深度从3扩展到统一的宽度。在这一部分中，使用了两个卷积层，卷积核大小为3 × 3。需要注意的是，tanh函数被用来将结果映射到区间(−1, 1) 。第二部分由多个RMFA模块组成。第三部分是输出模块，其中使用一个卷积层，紧接着是sigmoid激活函数来生成输出。
关键组件介绍
RMFA模块
RMFA模块是我们模型的基本构建块，如图1(b)所示。其包含几个子模块：
- 高频信息提取分支：这个子分支专注于从输入数据中提取高频信息。它利用大小为1 × 1的卷积核来捕捉图像中的细节。通过使用较小的卷积核，网络能够有效地捕捉高频纹理并保留重建图像中的复杂细节。
- 低频分支：这个子分支负责捕获输入数据中的低频信息。它利用大小为3×3的较大卷积核来捕捉更广泛的特征并平滑图像。较大的卷积核允许网络捕获低频纹理，例如整体色彩和色调变化，并确保重建的图像保持视觉上的美观
- 色调映射模块：模块纹理模块和色调映射模块的输出首先被连接在一起。随后，使用一个卷积层将特征图的数量映射到原始深度宽度。
- 注意力模块。RMFA模块的最后添加了channel attention和spatial attention模块。同时添加了skip connection连接。
作为一个多功能的构建块，RMFA模块可以无缝地集成到各种架构中，增强我们模型的灵活性和适应性
通道模式
Figure 2：3通道模式
如图2所示，在之前的工作中，通常的做法是将4通道模式，在这种模式下，绿色通道进一步分为Gr和Gb通道。这种额外的分离相当于对绿色通道进行下采样，这会破坏raw数据中的高频信息。
此外，4通道模式会引起像素错位。如图2(a)中的黑框所示，四个通道中相同位置的像素实际上对应于原始raw数据中的2×2邻域。这种错位可能导致模糊，影响图像质量
本文设计了一种新方法，如图2(c)所示。我们将Bayer raw数据分为三个通道（R、G、B），每个通道保留raw数据的大小。对于未采样的像素，我们用1填充。因此，G通道的采样率保持不变，尽可能保留高频纹理信息。我们相信这种方法将更有助于网络准确地重建高频信息。
量化指标
我们在公开数据集上测试我们的效果，PSNR和SSIM两个指标都超越了sota结果+1db。同时我们网络参数也控制在较小的范围内。如表1所示
Table 1：结果对比
总结
在本文中，我们提出了名为RMFA-Net的Neural ISP网络，这是一种用于RAW到RGB图像重建的新型深度学习模型。我们在公开数据集上证明了我们算法的有效性。其在PSNR和SSIM等图像指标超过了sota结果1个Db。RMFA-Net在重建亮度、颜色、纹理和整体图像细节方面有着更为出色的表现。
此外，我们还提供了一些额外的细节和结果，包括数据处理细节、网络结构细节、各处理模块作用对比分析等。这些额外信息进一步证明了我们方法的有效性和实用性。我们希望我们的工作能够启发未来关于Neural ISP系统的研究
