论文链接：ShapeConv: Shape-aware Convolutional Layer  for Indoor RGB-D Semantic Segmentation

1 Why ShapeConv for RGB-D tasks

深度图包含物体的基础形状（局部信息，local geometry）和物体的位置（全局信息，在更大的context下的信息）。但是用传统卷积去卷深度特征图会带来问题。

如上图所示，第一行中凳子上的两个红色横线，经过第二行的两个红色卷积核p1，p2卷积过后（绿色同理），由于深度图中的像素值不同，会导致卷积结果不同，这会削弱网络对形状的感知，我们实现形状不变性，即对于形状相同的物体，经过卷积输出的结果应该相同，但是传统卷积也不能丢弃，因为具有相同形状的物体不能输出一样，因为他们的位置会不同，这也是学习的一部分。因此作者设计了ShapeConv，将卷积分成base, shape component两个部分，分别负责处理where the patch is（位置信息）和what the patch is（形状信息，或者说叫物体的inherent property）

2 Method

例子图中的p1，p2像素值是不同的，相应地，它们的特征图也会不同，就会导致不同的分割结果，但是事实上，这两个patch之间也存在一些不变量，即为形状。因此，作者把每个卷积窗口的输入$\mathbb{P}\in R^{K_{h}\times K_{w}\times C_{in}}$分成两个component，base-component $\mathbb{P}_{B}$和shape-component $\mathbb{P}_{S}$。

2.1 ShapeConv Formulation

$$\begin{aligned}&\mathbb{P}_B=m(\mathbb{P}),\\&\mathbb{P}_{S}=\mathbb{P}-m(\mathbb{P}),\end{aligned}$$

$m$是平均操作，$\mathbb{P}_B\in R^{1\times1\times C_{in}}$，$\mathbb{P}_S\in R^{K_{h}\times K_{w}\times C_{in}}$，$\mathbb{P}_{B}$会代表patch的位置，$\mathbb{P}_{S}$会代表patch的固有特征，这样一来，相同形状的物体尽管在不同的位置，它们的$\mathbb{P}_{S}$是相同的，但同时位置信息也不会丢弃，因为有$\mathbb{P}_{B}$。

作者用两组weight来处理这两个components，分别是$\mathbb{W}_B\in R^1$和$\mathbb{W}_{S}\in R^{K_{h}\times K_{w}\times K_{h}\times K_{w}\times C_{in}}$，输出的结果会做相加，然后再用传统卷积的卷积核去卷它们。总体过程如下：

$$\begin{aligned} \text{F}& =ShapeConv(\mathbb{K},\mathbb{W}_B,\mathbb{W}_S,\mathbb{P}) \\ &=Conv(\mathbb{K},\mathbb{W}_B\diamond\mathbb{P}_B+\mathbb{W}_S*\mathbb{P}_S) & \text{(1)} \\ &=Conv(\mathbb{K},\mathbf{P_B}+\mathbf{P_S}) \\ &=Conv((\mathbb{K},\mathbf{P_{BS}}), \end{aligned}$$

$\mathbf{P_B}, \mathbf{P_S}$的计算过程如下所示

$$\begin{cases}\mathbf{P_B}=\mathbb{W}_B\diamond\mathbb{P}_B\\\mathbf{P_{B_{1,1,c_{in}}}}=\mathbb{W}_B\times\mathbb{P}_{B_{1,1,c_{in}}},\end{cases}\\\begin{cases}\mathbf{P_S}=\mathbb{W}_S*\mathbb{P}_S\\\mathbf{P_{S_{k_h,k_w,c_{in}}}}=\sum_i^{K_h\times K_w}(\mathbb{W}_{S_{i,k_h,k_w,c_{in}}}\times\mathbb{P}_{S_{i,c_{in}}}),\end{cases}$$

$\mathbf{P_B}$的计算方式很简单，就是直接相乘。接下来讲下$\mathbf{P_S}$的计算。对于$\mathbf{P_S}$中坐标为$(k_{h} ,k_{w} ,c_{in})$的每个点，都由$\mathbb{P}_{S_{i,c_{in}}}\in R^{K_{h}\times K_{w}}$和$\mathbb{W}_{S_{i,k_h,k_w,c_{in}}}\in R^{K_{h}\times K_{w}}$相乘然后累加得到。然后$\mathbf{P_B}, \mathbf{P_S}$相加会得到$\mathbf{P_BS}$，其内涵重要的形状信息，这是普通卷积做不到的。

2.2 Training and Inference

从上面的运算过程可以看出，ShapeConv比普通卷积要多两个weights的product操作，会增加时间开销，因此作者把这两个乘积操作shift from patches to kernels，对卷积核进行weight product操作。

$$\begin{cases}\mathbf{K_B}=\mathbb{W}_B\diamond\mathbb{K}_B\\\mathbf{K_{B_{1,1,c_{in},c_{out}}}}=\mathbb{W}_B\times\mathbb{K}_{B_{1,1,c_{in},c_{out}}},\end{cases}\\\begin{cases}\mathbf{K_S}=\mathbb{W}_S*\mathbb{K}_S\\\mathbf{K_{S_{k_h,k_w,c_{in},c_{out}}}}=\sum_i^{K_h\times K_w}(\mathbb{W}_{S_{i,k_h,k_w,c_{in}}}\times\mathbb{K}_{S_{i,c_{in},c_{out}}}),\end{cases}$$ 。据此，可以重新定义ShapeConv：

$$\begin{aligned} \text{F}& =ShapeConv(\mathbb{K},\mathbb{W}_B,\mathbb{W}_S,\mathbb{P}) \\ &=Conv(\mathbb{W}_B\diamond m(\mathbb{K})+\mathbb{W}_S*(\mathbb{K}-m(\mathbb{K})),\mathbb{P}) \\ &=Conv(\mathbb{W}_B\diamond\mathbb{K}_B+\mathbb{W}_S*\mathbb{K}_S,\mathbb{P})& \text{(2)} \\ &=Conv(\mathbf{K_B}+\mathbf{K_S},\mathbb{P}) \\ &=Conv(\mathbf{K_{BS}},\mathbb{P}), \end{aligned}$$

经过数学推导（此处略），公式(1)和(2)是等价的。这样一来，ShapeConv和普通卷积的复杂度一致，没有带来额外的推理时间，仅在训练时多训练了两组weights。

2.3 ShapeConv Newtwork

作者用ShapeConv去替换网络中的普通卷积，同时$\mathbb{W}_B, \mathbb{W}_S$都被初始化为恒等矩阵，可以让ShapeConv利用pretrained models里已经训练好的参数。