当前位置：首页 > news >正文

【小样本分割】Self-Support Few-Shot Semantic Segmentation

news 来源：原创 2024/5/3 21:32:06

在这里插入图片描述

论文地址：SSP；代码地址：SSP

Abstract

现有的几种小样本分割方法在支持查询匹配框架的基础上取得了很大的进展。但是它们仍然严重地受到由于提供的小样本支持而导致的类内变化的有限覆盖的影响。基于简单格式塔原理，即属于同一对象的像素比属于同一类的不同对象的像素更相似，我们提出了一种新的自支持匹配策略来缓解这一问题，该策略使用查询原型来匹配查询特征，其中查询原型是从高置信度查询预测中收集的。该策略可以有效地捕获查询对象的一致底层特征，从而匹配查询特征。我们还提出了自适应自支持背景原型生成模块和自支持损失，以进一步促进自支持匹配过程。我们的自支持网络大大提高了原型质量，受益于更强的主干和更多支持，并在多个数据集上实现了SOTA。

在这里插入图片描述

Introduction

语义分割在深度学习网络[29,42,34]和大规模数据集[15,5,93]方面取得了显著进展。然而，当前的高性能语义分割方法严重依赖于费力的像素级标注，这加速了最近小样本语义分割（FSS）的发展。小样本语义分割旨在仅使用少量支持样本来分割任意新类。两难的是，支持图像是有限和固定的（通常每个类支持｛1、3、5、10｝），而查询图像可能是海量和任意的。无论支持质量如何，有限的小样本支持很容易无法覆盖查询图像中目标类的基本外观变化。这显然是由固有的数据稀缺性和多样性造成的，这是小样本学习中两个长期存在的问题。
现有方法试图通过充分利用有限的支持来解决该问题，如提出更好的匹配机制[70,54,83,74,87,32,96]或生成代表性原型[71,45,64,56,82,38,62,81,88,27]。尽管他们取得了成功，但仍然无法从根本上解决外观差异问题，因为只有很少的镜头支撑。
我们提出了一种新的自支持匹配策略来缩小匹配外观差异。该策略使用查询原型来匹配查询功能，或者换句话说，使用查询功能自我支持。因此，我们将查询原型称为自支持原型，因为它具有自匹配特性。这一新想法的动机是经典格式塔定律[41]，即属于同一对象的像素比不同对象的像素更相似。
请参阅图1，了解我们的新型自支持匹配的高级理解。首先，我们通过直接匹配支持原型和查询特征来生成初始掩码预测。基于初始查询掩码，我们收集可靠的查询特征以生成自支持原型，该原型用于执行与查询特征的匹配。我们的自我支持模块（SSM）收集用于分割整个黑猫的猫头的可靠特征。我们的模型在基类上进行了优化，以检索对象片段支持的其他对象部分，即自支持原型。
我们将自助模块应用于前台和后台原型，以进行自助匹配。虽然SSM直接受益于前景原型，但请注意，背景通常是杂乱的，没有在所有背景像素之间共享的全局语义共性。因此，与通过聚集所有背景像素来生成全局背景原型不同，我们建议通过动态聚集查询图像中的相似背景像素来自适应地为每个查询像素生成自支持背景原型。自适应自支撑背景原型（ASBP）其动机是分离的背景区域具有局部语义相似性。最后，我们提出了一种自支持损失（SSL），以进一步促进自支持过程。
因此，我们的自支持匹配策略从根本上不同于传统的支持查询匹配。我们使用灵活的自支持原型来匹配查询特征，这可以有效地捕获查询对象的一致底层特征，从而匹配查询特征。如图1所示，查询和支持图像中的猫在颜色、部分和比例上非常不同，加菲尔德猫支持与黑猫查询有很大的外观差异，毫无疑问，常规支持查询匹配会产生较差的分割。在自支持匹配中，我们的自支持原型（黑猫头）与查询（整个黑猫）更一致，因此我们的方法产生了令人满意的结果。
我们是第一个在查询原型和查询特征之间执行自支持匹配的。如图1所示，我们的自支持匹配从根本上不同于传统匹配。其他方法从额外的未标记图像（PPNet[57]和MLC[82]）学习更好的支持原型以支持查询匹配，或者基于支持图像构建各种支持原型生成模块[71,45,81]或特征先验（PFENet[73]）。尽管PANet[75]和CRNet[55]也探索了查询原型，但他们使用查询原型来匹配支持特征，因为查询支持匹配仅用于辅助训练，无法解决外观差异。
我们的自支持方法通过缓解类内外观差异问题显著提高了原型质量，我们的实验验证中的多数据集性能提升证明了这一点。尽管想法很简单，但我们的自支持方法非常有效，并具有各种优势，例如从更强的主干和更多的支持中受益更多，产生高置信度预测，对弱支持标签的鲁棒性更强，对其他方法的泛化更高，运行效率更高。我们将通过彻底的实验来证实这些优势。总之，我们的贡献是：
我们提出了一种新的自支持匹配，并构建了一种新型的自支持网络来解决FSS中的外观差异问题。
–我们提出了自支撑原型、自适应自支撑背景原型和自支撑损失，以促进我们的自支撑方法。
-我们的自支持方法得益于更强的主干和更多支持，并在多个数据集上优于以前的SOTA，具有许多理想的优势。

在这里插入图片描述