激活函数

激活函数将非线性的特性引入到神经网络当中。

PaddlePaddle 对大部分的激活函数进行了支持,其中有:

  • cn_api_paddle_nn_functional_celu

  • cn_api_paddle_nn_functional_elu

  • cn_api_paddle_exp

  • cn_api_paddle_nn_functional_glu

  • cn_api_paddle_nn_functional_gumbel_softmax

  • cn_api_paddle_nn_functional_hardshrink

  • cn_api_paddle_nn_functional_hardsigmoid

  • cn_api_paddle_nn_functional_hardswish

  • cn_api_paddle_nn_functional_hardtanh

  • cn_api_paddle_nn_functional_leaky_relu

  • cn_api_paddle_nn_functional_log_sigmoid

  • cn_api_paddle_nn_functional_log_softmax

  • cn_api_paddle_nn_functional_maxout

  • cn_api_paddle_nn_functional_mish

  • cn_api_paddle_pow

  • cn_api_paddle_nn_functional_prelu

  • cn_api_paddle_nn_functional_relu

  • cn_api_paddle_nn_functional_relu6

  • cn_api_paddle_nn_functional_rrelu

  • cn_api_paddle_nn_functional_selu

  • cn_api_paddle_nn_functional_sigmoid

  • cn_api_paddle_nn_functional_silu

  • cn_api_paddle_nn_functional_softmax

  • cn_api_paddle_nn_functional_softplus

  • cn_api_paddle_nn_functional_softshrink

  • cn_api_paddle_nn_functional_softsign

  • cn_api_paddle_stanh

  • cn_api_paddle_nn_functional_swish

  • cn_api_paddle_tanh

  • cn_api_paddle_nn_functional_thresholded_relu

  • cn_api_paddle_nn_functional_tanhshrink

PaddlePaddle 应用激活函数的方式如下:

PaddlePaddle 为每个 Activation 提供了接口,可以显式调用。以下是一个示例,展示如何在卷积操作之后应用 ReLU 激活函数:

conv2d = paddle.nn.functional.conv2d(x, weight, stride=1, padding=1) # 卷积
relu1 = paddle.nn.functional.relu(conv2d) # 使用 ReLu 激活函数