DeformConv2D

class paddle.vision.ops. DeformConv2D ( in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, deformable_groups=1, groups=1, weight_attr=None, bias_attr=None ) [源代码]

deform_conv2d 对输入 4-D Tensor 计算 2-D 可变形卷积。给定输入 Tensor x,输出 Tensor y,可变形卷积运算如下所示:

可形变卷积 v2:

y(p)=Kk=1wkx(p+pk+Δpk)Δmk

可形变卷积 v1:

y(p)=Kk=1wkx(p+pk+Δpk)

其中 ΔpkΔmk 分别为第 k 个位置的可学习偏移和调制标量。在 deformable conv v1 中 Δmk 为 1。

具体细节可以参考论文:<<Deformable ConvNets v2: More Deformable, Better Results>><<Deformable Convolutional Networks>>

示例

输入:

input 形状:(N,Cin,Hin,Win)

卷积核形状:(Cout,Cin,Hf,Wf)

offset 形状:(N,2HfWf,Hout,Wout)

mask 形状:(N,HfWf,Hout,Wout)

输出:

输出形状:(N,Cout,Hout,Wout)

其中

Hout=(Hin+2paddings[0](dilations[0](Hf1)+1))strides[0]+1Wout=(Win+2paddings[1](dilations[1](Wf1)+1))strides[1]+1

参数

  • in_channels (int) - 输入图像的通道数。

  • out_channels (int) - 由卷积操作产生的输出的通道数。

  • kernel_size (int|list|tuple) - 卷积核大小。可以为单个整数或包含两个整数的元组或列表,分别表示卷积核的高和宽。如果为单个整数,表示卷积核的高和宽都等于该整数。

  • stride (int|list|tuple,可选) - 步长大小。可以为单个整数或包含两个整数的元组或列表,分别表示卷积沿着高和宽的步长。如果为单个整数,表示沿着高和宽的步长都等于该整数。默认值:1。

  • padding (int|list|tuple,可选) - 填充大小。卷积核操作填充大小。如果它是一个列表或元组,则必须包含两个整型数:(padding_height,padding_width)。若为一个整数,padding_height = padding_width = padding。默认值:0。

  • dilation (int|list|tuple,可选) - 空洞大小。可以为单个整数或包含两个整数的元组或列表,分别表示卷积核中的元素沿着高和宽的空洞。如果为单个整数,表示高和宽的空洞都等于该整数。默认值:1。

  • deformable_groups (int,可选) - 可变形卷积组数。默认值:1。

  • groups (int,可选) - 三维卷积层的组数。根据 Alex Krizhevsky 的深度卷积神经网络(CNN)论文中的分组卷积:当 group=2,前半部分卷积核只和前半部分输入进行卷积计算,后半部分卷积核和后半部分输入进行卷积计算。默认值:1。

  • weight_attr (ParamAttr,可选) - 二维卷积层的可学习参数/权重的属性。如果设置为 None 或 ParamAttr,二维卷积层将创建 ParamAttr 作为 param_attr。如果设置为 None,参数将初始化为 Normal(0.0,std) ,且 std

    (2.0filter_elem_num)0.5 ,默认值为 None 。

  • bias_attr (ParamAttr|bool,可选)- 二维卷积层偏置参数属性对象,如果设置为 False,则不会向输出单元添加任何偏差。如果设置为 None 或 ParamAttr,二维卷积层将创建 ParamAttr 作为参数值。如果未设置初始值,则将偏置初始化为零。默认值:None。

形状:
  • x: (N,Cin,Hin,Win)

  • offset: (N,2HfWf,Hout,Wout)

  • mask: (N,HfWf,Hout,Wout)

  • 输出:(N,Cout,Hout,Wout)

其中:

Hout=(Hin+2paddings[0](dilations[0](kernel_size[0]1)+1))strides[0]+1Wout=(Win+2paddings[1](dilations[1](kernel_size[1]1)+1))strides[1]+1

代码示例

>>> #deformable conv v2:
>>> import paddle
>>> input = paddle.rand((8, 1, 28, 28))
>>> kh, kw = 3, 3
>>> # offset shape should be [bs, 2 * kh * kw, out_h, out_w]
>>> # mask shape should be [bs, hw * hw, out_h, out_w]
>>> # In this case, for an input of 28, stride of 1
>>> # and kernel size of 3, without padding, the output size is 26
>>> offset = paddle.rand((8, 2 * kh * kw, 26, 26))
>>> mask = paddle.rand((8, kh * kw, 26, 26))
>>> deform_conv = paddle.vision.ops.DeformConv2D(
...     in_channels=1,
...     out_channels=16,
...     kernel_size=[kh, kw])
>>> out = deform_conv(input, offset, mask)
>>> print(out.shape)
[8, 16, 26, 26]

>>> #deformable conv v1:
>>> import paddle
>>> input = paddle.rand((8, 1, 28, 28))
>>> kh, kw = 3, 3
>>> # offset shape should be [bs, 2 * kh * kw, out_h, out_w]
>>> # mask shape should be [bs, hw * hw, out_h, out_w]
>>> # In this case, for an input of 28, stride of 1
>>> # and kernel size of 3, without padding, the output size is 26
>>> offset = paddle.rand((8, 2 * kh * kw, 26, 26))
>>> deform_conv = paddle.vision.ops.DeformConv2D(
...     in_channels=1,
...     out_channels=16,
...     kernel_size=[kh, kw])
>>> out = deform_conv(input, offset)
>>> print(out.shape)
[8, 16, 26, 26]