生物医学图像分割与目标检测：UOLO

本文将介绍INESC TEC和波尔图大学的Faculdade de Engenharia da Universidade做的UOLO-生物医学图像中的自动对象检测和分割。这作为DLMIA 2018技术报告发布。本文提出了UOLO(上图)，一种同时检测和分割医学图像中感兴趣结构的新颖框架。

UOLO是用于同时检测和分割医学图像中对象的网络。利用注释数据进行分割的优点是即使使用少量图像数据也可以保持较高的检测性能。

解剖结构的检测和分割是一项医学成像分析的核心任务，因为它可以勾画出感兴趣区域(ROI)的轮廓，地标的创建以及功能的改进。一旦确定了ROI，对象分割就变得更加容易。

在分割方面，深度全卷积神经网络在各种图像和问题上均达到了最高性能。UNet的优势在于其自动编码结构，因此可以使用更少的训练数据进行更强大的分析。

检测模型是一种使用具有大量自然图像数据集的预训练网络作为检测模块的特征提取器的方法，例如Faster R-CNN和YOLOv2。在YOLOv2中，直接使用了预训练权重的每个区域激活预测ROI的坐标和标签。

Mask-R CNN是一个结合了检测和细分模型的类似网络。在这种架构中，分割模块和检测模块是分开的。因此，分割部分仅负责掩模的预测，并且掩模由检测模块按类别标记。不管其高性能如何，该模型在医学图像分析问题中的使用都受到限制。它不适用于医疗应用，因为它需要在像素级别注释大量数据。

UOLO是结合了细分模块UNet和对象检测模块YOLOv2的模型。这个想法的背景是，在UNet的解码器层中学习的抽象包含多尺度信息，该信息不仅对对象的分割有用，而且对对象的检测也有用。UOLO的主要优点之一是利用少量的训练数据，利用检测和分段模块来实现可靠而有效的预测。

1.对象分割模块

在UOLO中，改进了U-Net网络以进行对象分割;在每个卷积层之后添加批处理归一化，并用跨步卷积层替换池化层。UNet的损失函数使用联合软交集(IoU)计算地面真值掩码和预测掩码之间的损失。

2.物体检测模块

对于对象检测，UOLO利用YOLOv2的思想来实现两个目标。

(1)从图像中提取特征(F_YOLO)

(2)特征解释块，可预测目标对象的标签和边界框(D_YOLO)

在UOLO中，分割模块成为承担F_YOLO角色的特征提取模块，F_YOLO是特征解释块D_YOLO的输入。

还学会了YOLOv2优化损失函数：λ1调整中心位置的误差，λ2调整错误的尺寸(即高度和宽度)，λ3调整错误的盒子存在预测，λ4调整对象的错误分类。

3.联合目标检测与分割

UOLO框架，嵌套的U-Net负责基于YOLOv2的检测器的分割和特征提取

UOLO的损失计算方案

UOLO框架同时实现对象检测和分段，算法1中显示了UOLO的行为。关于UOLO的有趣之处在于，与Mask R-CNN等不同，如图3所示，分段模块本身成为一个特征提取模块，它充当对象检测(F_ YOLO)的角色，并且是特征解释模块(D_ YOLO)的输入。

UOLO(M_ U-Net)的分割模块获取一对RGB和地面真实图像，并通过最小化损失函数(L_ U-Net)训练分割。

中号_U-Net的是通过连接的瓶颈(最后编码层)和下采样解码地图来获得张量获得。从每个层的张量输出F _YOLO(图3张量，16 * 16 * 1672)和特征解释模块D _YOLO(图3张量，16 * 16 * 2 * 7)中获取输出，并优化损失函数( L _YOLO)。

特征解释模块(D _YOLO)和分割模块(M _U-Net)组合形成M _UOLO，这是一个通过最小化相应损失函数的添加而优化的单个模型。

4.实验结果

下图和两个表显示了用UOLO学习的抽象在解决问题方面非常有效：第一个表显示了与最新方法的比较，第二个表显示了用于OD检测的UOLO的结果和分割和FV检测。下图显示了使用UOLO时复杂检测和分段预测的两个示例.UOLO在Messidor数据集上训练。

下图显示了Messidor图像上UOLO的结果。绿色曲线：分段光盘(OD)，绿色和蓝色框：分别表示预测的OD和FV位置;黑色曲线：地面真相OD分割;黑点和蓝点：分别是地面真相OD和FV位置。每个框旁边显示对象检测置信度。还显示了IoU(联合上的交点)和归一化距离(D)值。

复杂检测和分段情况下的两个预测示例

OD检测，分割和FV检测的最新技术

在检测和分割任务方面，UOLO的性能均等于或优于现有的领先方法(在Messidor上为IoU 0.88±0.09)。因此，表明在分割模块中学习到的抽象不仅可以有效地解决分割任务中的问题，而且还可以有效地解决对象检测任务中的问题。

UOLO在视盘(OD)检测和分割以及中央凹(FV)检测上的性能。n：用于检测和分割的训练图像的数量

此外，当使用少量逐像素批注的图像时，UOLO十分强大，同时保持了分割和检测性能;通过将Messidor数据集中的带注释图像的数量从680个减少到100个带注释图像，减少了15%，并仍然保持分割和检测性能(如表中所示)，从而训练了UOLO。分割和检测性能没有改变。这意味着UOLO不需要大量的逐个像素注释，从而有助于其在医疗领域的应用，因为在这些领域中获取这些注释可能会非常昂贵。

本文转载 ​​小白遇见AI​​ ，作者：小烦

原文链接：​​https://mp.weixin.qq.com/s/1vRvbaUeTCVjU6t5tCMp2A​​