激活函数¶
激活函数将非线性的特性引入到神经网络当中。
PaddlePaddle 对大部分的激活函数进行了支持,其中有:
cn_api_paddle_nn_functional_celu
cn_api_paddle_nn_functional_elu
cn_api_paddle_exp
cn_api_paddle_nn_functional_glu
cn_api_paddle_nn_functional_gumbel_softmax
cn_api_paddle_nn_functional_hardshrink
cn_api_paddle_nn_functional_hardsigmoid
cn_api_paddle_nn_functional_hardswish
cn_api_paddle_nn_functional_hardtanh
cn_api_paddle_nn_functional_leaky_relu
cn_api_paddle_nn_functional_log_sigmoid
cn_api_paddle_nn_functional_log_softmax
cn_api_paddle_nn_functional_maxout
cn_api_paddle_nn_functional_mish
cn_api_paddle_pow
cn_api_paddle_nn_functional_prelu
cn_api_paddle_nn_functional_relu
cn_api_paddle_nn_functional_relu6
cn_api_paddle_nn_functional_rrelu
cn_api_paddle_nn_functional_selu
cn_api_paddle_nn_functional_sigmoid
cn_api_paddle_nn_functional_silu
cn_api_paddle_nn_functional_softmax
cn_api_paddle_nn_functional_softplus
cn_api_paddle_nn_functional_softshrink
cn_api_paddle_nn_functional_softsign
cn_api_paddle_stanh
cn_api_paddle_nn_functional_swish
cn_api_paddle_tanh
cn_api_paddle_nn_functional_thresholded_relu
cn_api_paddle_nn_functional_tanhshrink
PaddlePaddle 应用激活函数的方式如下:
PaddlePaddle 为每个 Activation 提供了接口,可以显式调用。以下是一个示例,展示如何在卷积操作之后应用 ReLU 激活函数:
conv2d = paddle.nn.functional.conv2d(x, weight, stride=1, padding=1) # 卷积
relu1 = paddle.nn.functional.relu(conv2d) # 使用 ReLu 激活函数