论文地址：CamoFormer: Masked Separable Attention for Camouflaged Object Detection

1 研究动机

现在的伪装目标识别的模型都没有把前景和背景分开处理，这就很难从相似的环境中识别出伪装目标，现在的目标，关键就是分别encode前景和背景。受到Masked Multi-Head Attention的启发，作者设计了masked separable attention（MSA），每一个head负责特定的功能，一个head处理前景，一个head处理背景，一个head处理前景和背景的交融。

2 CamoFormer

2.1 Overall Architecture

2.1.1 Encoder

采用PVTv2作为encoder，产生四个阶段（尺寸）的特征图，并将最后三个阶段的特征图聚合，然后通过一个Conv产生高语义信息表达\(E_5\)

2.1.2 Decoder

采用渐进的，自下而上的逐渐优化特征的方式去进行decode，对于最开始产生的aggregated feature，方式如下：

\[D_4=\mathrm{MSA}(E_5)\cdot\mathcal{F}_{\mathrm{up}}(E_4)+\mathcal{F}_{\mathrm{up}}(E_4),\]

对于后续aggregated feature的产生：

\[D_i=\mathcal{F}_{\mathrm{up}}(\text{MSA}(D_{i+1}))\cdot E_i+E_i.\]

住得注意的是，作者在聚合特征的时候并没有直接进行相加操作或者concat，而是先把\(D\)和\(E\)进行element-wise相乘，在进行相加，作者发现通过这种方式，性能可以提升0.2%。

2.1.3 Loss Function

图中的全红箭头就是supervision，从图中可以看出，作者对不同层级decoder产生的prediction都进行了监督，\(\{{P_{i}}\}_{i=1}^{5}\)就是5个层级产生的prediction map，\(G\)是Ground Truth。Loss Function如下：

\[\mathcal{L}(P,G)=\sum_{i=1}^5\mathcal{L}_{bce}(P_i,G)+\mathcal{L}_{iou}(P_i,G),\]

2.2 Masked Separable Attention

作者将attention heads分为3组，T-BA，F-TA（Foreground head），B-TA（Background head）。

对于F-TA：

\[\text{F-TA}(\mathbf{Q}_F,\mathbf{K}_F,\mathbf{V}_F)=\mathbf{V}_F\cdot\mathrm{Softmax}(\frac{\mathbf{Q}_F^\top\mathbf{K}_F}{\alpha_F}),\]

其中\(\mathbf{Q}_F\)和\(\mathbf{K}_F\)就是经过mask之后的query和key，它们是通过query，key与mask(prediction map，就是上一层aggregated feature预测得到的)相乘得到的，Value没有经过mask处理，这样以来，F-TA可以只关注前景区域，避免了背景区域的一些污染性信息，同样的，在B-TA里同样的操作，用\(\begin{aligned}M_{B}&=1-M_{F}\end{aligned}\)作为mask：

\[\text{B-TA}(\mathbf{Q}_B,\mathbf{K}_B,\mathbf{V}_B)=\mathbf{V}_B\cdot\text{Softmax}(\frac{\mathbf{Q}_B^\top\mathbf{K}_B}{\alpha_B}).\]

第三组head是TA，它就是普通的attention，可以建模前景和背景之间的信息交流。

\[\mathrm{TA}(\mathbf{Q},\mathbf{K},\mathbf{V})=\mathbf{V}\cdot\mathrm{Softmax}(\frac{\mathbf{Q}^{\top}\mathbf{K}}{\alpha}),\]

3 Experiments

上图是不同stage的decoder的attention的热力图，从热力图可以看出，F-TA关注前景，B-TA关注背景，TA实现背景前景的融合。此外，\(D_2\)相较于\(D_5\)，热力图的颜色更加鲜艳明显，轮廓更加明朗，说明progressive refinement起到了作用。