LayerNorm

class paddle.nn. LayerNorm ( normalized_shape, epsilon=1e-05, weight_attr=None, bias_attr=None, name=None ) [源代码]

构建 LayerNorm 类的一个可调用对象,具体用法参照 代码示例。其中实现了层归一化层(Layer Normalization Layer)的功能,其可以应用于小批量输入数据。更多详情请参考:Layer Normalization

计算公式如下:

\[ \begin{align}\begin{aligned}\begin{split}\\\mu=\frac{1}{H}\sum_{i=1}^{H}x_i\\\end{split}\\\begin{split}\\\sigma=\sqrt{\frac{1}{H}\sum_i^H{(x_i-\mu)^2} + \epsilon}\\\end{split}\\\begin{split} \\y=f(\frac{g}{\sigma}(x-\mu) + b)\\\end{split}\end{aligned}\end{align} \]
  • \(x\):该层神经元的向量表示

  • \(H\):层中隐藏神经元个数

  • \(\epsilon\):添加较小的值到方差中以防止除零

  • \(g\):可训练的比例参数

  • \(b\):可训练的偏差参数

参数

  • normalized_shape (int|list|tuple) – 需规范化的 shape,期望的输入 shape 为 [*, normalized_shape[0], normalized_shape[1], ..., normalized_shape[-1]]。如果是单个整数,则此模块将在最后一个维度上规范化(此时最后一维的维度需与该参数相同)。

  • epsilon (float,可选) - 指明在计算过程中是否添加较小的值到方差中以防止除零。默认值:1e-05。

  • weight_attr (ParamAttr|bool|None,可选) - 指定权重参数属性的对象。如果为 False 固定为 1,不进行学习。默认值为 None,表示使用默认的权重参数属性。具体用法请参见 ParamAttr

  • bias_attr (ParamAttr|None,可选) - 指定偏置参数属性的对象。如果为 False 固定为 0,不进行学习。默认值为 None,表示使用默认的偏置参数属性。具体用法请参见 ParamAttr

  • name (str,可选) - 具体用法请参见 Name,一般无需设置,默认值为 None。

形状

  • input: 2-D, 3-D, 4-D 或 5D 的 Tensor。

  • output:和输入形状一样。

代码示例

>>> import paddle
>>> paddle.seed(100)
>>> x = paddle.rand((2, 2, 2, 3))
>>> layer_norm = paddle.nn.LayerNorm(x.shape[1:])
>>> layer_norm_out = layer_norm(x)

>>> print(layer_norm_out)
Tensor(shape=[2, 2, 2, 3], dtype=float32, place=Place(cpu), stop_gradient=False,
[[[[ 0.60520101, -0.67670590, -1.40020895],
   [ 0.46540466, -0.09736638, -0.47771254]],
  [[-0.74365306,  0.63718957, -1.41333175],
   [ 1.44764745, -0.25489068,  1.90842617]]],
 [[[ 1.09773350,  1.49568415, -0.45503747],
   [-1.01755989,  1.08368254, -0.38671425]],
  [[-0.62252408,  0.60490781,  0.13109133],
   [-0.81222653,  0.84285998, -1.96189952]]]])