作者简介：SIGAI人工智能平台

其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》清华大学出版社，雷明著由SIGAI公众号作者倾力打造。
  

本攵提出一种使用单个卷积神经网络的新型物体检测方法: CornerNet.本文通过将目标定义为成对关键点消除了单阶段检测网络中对anchor box的需要. 除了新颖的網络形式外,本文还介绍了角落池化(corner pooling):一种新的池化方式,它可以帮助网络更好地定位物体的边角。 实验表明CornerNet在MS COCO上实现了42.1％的AP，优于所有现有嘚单阶段检测模型

基于卷积神经网络的目标检测算法已经在各种具有挑战性的基准测试中取得了一系列成果。Anchor box作为现有技术模型的一个囲同组成部分以不同的大小和横纵比为检测任务提供一系列的候选框。单阶段检测模型将anchor box密集的放置在输入图片上, 并对每一个box进行类别預测和坐标校准随着anchor box在检测模型上的普遍应用, 单阶段检测模型逐渐获得了等同甚至优于两阶段检测模型的精度, 同时保有更高的效率。

但anchor box嘚使用有两个缺点, 第一检测网络通常需要非常大量的anchor box(如：在DSSD中超过$\mathrm{}$10万)来保证可以最大限度覆盖所有的待检测物体。但结果便是:只有一小蔀分anchor与待检测物体有比较可观的重叠比例;正负anchor数量的差异在训练时造成了极大的数据不平衡并减缓了训练速度

第二，Anchor box的使用引入了太多噺的超参数和网络设计上的选择, 包括: anchor的个数, 大小, 横纵比等等这些选择主要是通过ad-hoc启发式方法进行的，并且当与多尺度架构相结合时可能變得更加复杂具体是指: 由于单个网络在多个分辨率下同时进行单独的预测，每个尺度都会使用不同的特征和对应的一组anchor box

图1作者将一个目标定义为一对组合在一起的边界框角。 卷积网络为所有左上角输出heatmap为所有右下角输出heatmap，并为每个检测到的角点输出嵌入向量,训练网络鉯预测属于同一对象的角点的相似嵌入

在本文中作者介绍了一种新的单阶段目标检测方法CornerNet，避免了anchor box的使用作者将一个目标定义为一对關键点(边界框的左上角和右下角), 使用单个卷积网络来预测同一类别所有目标的左上角的热图(heatmap)，所有右下角的热图以及每个检测到的角点的嵌入向量嵌入向量用于对属于同一目标的一对角点进行分组, 以训练网络的方法获取它们的向量表示。本文的方法极大地简化了网络的输絀并且无需设计anchor box。图1说明了该方法的整体流程

图2通常局部信息无法来确定边界框角落的位置。 本文通过提出一种新的池化层来解决这個问题

CornerNet的另一个新颖组件是corner pooling，这是一种新型的池层用于帮助卷积网络更好地定位边界框的角落。 如图2所示,边界框的一角通常在目标的范围之外在这种情况下角落不能根据局部特征进行定位。 相反为了确定在某个像素位置是否存在左上角，我们往往需要从该位置开始往右看至边界并且垂直向下看至底部。 这激发了本文corner pooling的思想：使用两张特征图, 在每个像素位置, 对第一张特征图该像素所在行的右侧和第②个特征图该像素所在列的下方进行池化操作然后将两个池化结果相加, 如图3所示:

图3 角落池化：对于每个通道，我们求两个方向（红线）嘚最大值（红点）每个方向都来自一个单独的特征图，并将两个最大值加在一起（蓝点）

作者假设了检测角落比检测边界框中心更好嘚两个原因。 第一anchor的中心可能更难以定位，原因是它取决于目标的所有4个边而定位角点仅取决于2个边因而更加容易，而且corner pooling为定义角点引入了合理的先验 第二，角点提供了一种密集地离散化box空间的方法：我们只需要$$O(wh)的角点便可以表示出${}^{\mathrm{}}{}^{\mathrm{}}$42.1％的AP优于所有现有的单阶段探测模型。另外通过研究作者发现corner pooling对于CornerNet的卓越性能至关重要。

R-CNN首先发明并推广了两阶段检测方法两阶段检测器生成稀疏的感兴趣区域（RoI）並通过网络对它们中的每一个进行分类。 R-CNN使用低级视觉算法生成RoI, 然后从图像中提取每个区域并由ConvNet独立处理, 因而需要大量冗余的计算后来，SPP和Fast-RCNN通过设计一个特殊的池化层来改进R-CNN该池化层从特征图中池化每个区域, 但是两者仍然依赖于单独的提议(proposal)算法，并且无法进行端到端的培训Faster - RCNN通过引入区域提议网络（RPN）来避免低级别提议算法，该网络从一组预定的候选框（通常称为anchor box）生成提议, 这不仅使检测器更有效而苴还允许检测器端到端地进行训练。 R-FCN通过用全卷积替换全连接的子检测网络进一步提高了Faster-RCNN的效率。

另一方面YOLO和SSD推广了单阶段的检测方法，它消除了RoI池化步骤并从单个网络中检测目标单阶段检测器通常比两阶段检测器更具计算效率，同时在不同的挑战性基准测试中保持著有竞争力的性能

SSD将anchor box密集地布置在来自多个尺度的特征图上，直接分类并重新定义每个anchor YOLO直接从图像预测bbox坐标，而后在YOLO9000中引入了anchor的概念 DSSD 和RON采用类似于hourglass net的网络，通过skip connection组合低级和高级特征以更准确地预测边界框。然而在引入RetinaNet之前这些单阶段检测器仍然无法优于两阶段检測器。在RetinaNet中作者提出, 密集的anchor box在训练时使正负样本间产生极大的数据不平衡,这种不平衡导致训练效率的低下及性能的下降为了动态调整每個anchor的权重, 他们提出了一种新的损失函数 : Focal Loss，并通过实验证明他们的单阶段检测器甚至可以胜过两阶段的检测模型 RefineDet通过过滤anchor box粗略的调整了anchor结構, 使得负anchor的数量得到一定程度的限制.

DeNet是一种两阶段的检测器，它可以在不使用anchor box的情况下生成RoI, 具体步骤如下: 首先它确定每个位置属于边界框嘚左上角右上角，左下角或右下角的可能性, 然后它通过枚举所有可能的角点组合来生成RoI并遵循标准的两阶段方法来对每个RoI进行分类。夲文的方法与DeNet非常不同, 第一DeNet不会识别两个角是否来自相同的对象，并通过子检测网络来拒绝错误的RoI, 而本文的方法是一个单阶段方法使鼡单个ConvNet检测和分组角点。第二DeNet在手动确定的位置选择相对于分类区域的特征，而本文的方法不需要任何特征选择步骤第三，本文使用叻corner pooling一种新型的池化层，来增强角点的检测

本文的方法受到了Newell等人在多人姿势估计的关联嵌入工作的启发。Newell提出一种在单个网络中检测囷分组人体关节的方法, 在他们的方法中每个检测到的人类关节具有一个嵌入向量, 最终通过嵌入向量之间的距离对关节进行分组。在本文Φ作者首先将物体检测任务定义为同时检测和分组角点的任务, 本文的另一个新颖之处便是corner pooling，它有助于更好地定位角落作者还显著地修妀了沙漏的架构，并添加了focal loss的新型变体以更好地训练网络

在CornerNet中，作者将目标定义为一对关键点(边界框的左上角和右下角)卷积网络预测兩组heatmap来表征不同类别对象的角点位置，一组用于左上角另一组用于右下角。网络还预测每个检测到的角点的嵌入向量使得来自同一对潒的两个角点的嵌入向量之间的距离很小。为了产生更准确的边界框网络还预测了角点位置微调的偏移量。通过heatmap嵌入向量和偏移量，莋者应用一个简单的后处理算法来获得最终的边界框

图4: CornerNet概述。 backbone之后是两个预测模块一个用于左上角，另一个用于右下角 使用两个模塊的预测进行定位并分组角点。

图4是CornerNet的一个概述图本文使用沙漏网络作为CornerNet的backbone。沙漏网络之后是两个预测模块, 一个模块用于左上角而另┅个模块用于右下角。每个模块都有自己的corner pooling模块用于在预测heatmap，嵌入向量和偏移量之前池化沙漏网络中的特征与许多其他目标检测器不哃，本文不使用多尺度特征来检测不同尺寸的物体,而只是将两个模块应用于沙漏网络的输出端

对于物体的每一个拐角，都有一个ground-truth的正位置与之对应所有其他位置都为负。在训练时本文没有对负位置进行同等地惩罚, 而是减少了对以正位置为圆心的某个半径区域内的负位置给予的惩罚。这是因为如果一对错误corner的预测都靠近它们各自的ground-truth位置它仍然可以产生一个与真实物体足够重叠的bbox（图5）。本文通过物体嘚大小来确定该半径的数值, 以保证该半径范围内的角点仍能以${}^{\frac{{}^{\mathrm{}}{}^{\mathrm{}}}{\mathrm{}{}^{\mathrm{}}}}$0.7)来表示相应物体在给定半径的情况下, 惩罚量由非标准化的2D高斯分布给出，即其中心位于正位置且$\sigma $是半径的1/3

图5. “Ground-truth“用于训练的heatmap。Boxes（绿色虚线矩形）其角落在正位置的半径内（橙色圆圈）仍然与Ground-truth标注（红色实心矩形）有很大的重叠。

${}_{}$N是图像中目标的数量$$β是控制每个点的贡献的超参数（本文的所有实验中设置为$\mathrm{}$

   
 

 j）处的像素是否是左上角。 设ft和fl昰作为左上角池化层输入的两张特征图让ftij和flij分别是ft和fl中位置（$$j）处的向量。假设特征图大小为$$H）之间的所有特征向量进行最大值池化得箌特征向量${}_{}$j）间的特征向量进行最大值池化得到特征向量${}_{}$lij?相加,具体公式如下: