[1] - 能够分割图片中的不同物体同時精确表示出分割物体间的过渡情况.
[2] - 自动完成分割,不用手工操作.
给定输入图片,自动生成其 soft 分割结果即,分解为表示了场景内物体的不同层包括物体的透明度和物体间的软过渡.
输入图片的 RGB 像素可以表示为每一层Φ的像素值与对应的 alpha 值的加权和.
构建低层次的仿射关系项,以表示基于颜色的像素间较大范围的关联性特征.
[2] - 估计每个超像素和对应于图像 20% 呎寸半径内所有超像素的仿射关系.
虽然 nonlocal color affinity 添加了像素间大范围间的相互作用关系但仍是低层特征.
这里构建高层语义仿射关系项,以使得属於同一场景物体的像素尽可能的接近不同场景物体的像素间的关系远离.
通过对 Laplacian 矩阵进行特征分解,提取特征向量并对特征向量进行两步稀疏处理,来创建图像层.
在高层特征构建时相同物体的像素的特征向量相似,不同物体的像素的特征向量不同.
特征向量是采用语义分割的深度网络模型训练和生成的.
这里采用了 DeepLab-ResNet-101 作为特征提取器但网络训练是采用的是度量学习方法,最大化不同物体的特征间的 L2 距离(稍微修改了 N-Pair loss).
修改源码的方式可能显得稍微有點繁琐, 毕竟需要重新编译.
这里尝试了一种新的方式来进行多标签自动标注.
与 [] 不同的是, 前者是以 Multi-task 的方式进行处理的,每一个 task 分别是一个label的分类問题. 而这里是以多标签标注方式进行的.
的神经网络定义训练和评估.