激活函数¶

激活函数将非线性的特性引入到神经网络当中。

PaddlePaddle 对大部分的激活函数进行了支持，其中有:

• cn_api_paddle_nn_functional_celu

• cn_api_paddle_nn_functional_elu

• cn_api_paddle_exp

• cn_api_paddle_nn_functional_glu

• cn_api_paddle_nn_functional_gumbel_softmax

• cn_api_paddle_nn_functional_hardshrink

• cn_api_paddle_nn_functional_hardsigmoid

• cn_api_paddle_nn_functional_hardswish

• cn_api_paddle_nn_functional_hardtanh

• cn_api_paddle_nn_functional_leaky_relu

• cn_api_paddle_nn_functional_log_sigmoid

• cn_api_paddle_nn_functional_log_softmax

• cn_api_paddle_nn_functional_maxout

• cn_api_paddle_nn_functional_mish

• cn_api_paddle_pow

• cn_api_paddle_nn_functional_prelu

• cn_api_paddle_nn_functional_relu

• cn_api_paddle_nn_functional_relu6

• cn_api_paddle_nn_functional_rrelu

• cn_api_paddle_nn_functional_selu

• cn_api_paddle_nn_functional_sigmoid

• cn_api_paddle_nn_functional_silu

• cn_api_paddle_nn_functional_softmax

• cn_api_paddle_nn_functional_softplus

• cn_api_paddle_nn_functional_softshrink

• cn_api_paddle_nn_functional_softsign

• cn_api_paddle_stanh

• cn_api_paddle_nn_functional_swish

• cn_api_paddle_tanh

• cn_api_paddle_nn_functional_thresholded_relu

• cn_api_paddle_nn_functional_tanhshrink

PaddlePaddle 应用激活函数的方式如下：

PaddlePaddle 为每个 Activation 提供了接口，可以显式调用。以下是一个示例，展示如何在卷积操作之后应用 ReLU 激活函数：

conv2d = paddle.nn.functional.conv2d(x, weight, stride=1, padding=1) # 卷积
relu1 = paddle.nn.functional.relu(conv2d) # 使用 ReLu 激活函数