CyclicLR¶

参数¶

• base_learning_rate (float) - 初始学习率，也是学习率变化的下边界。论文中建议将其设置为最大学习率的三分之一或四分之一。

• max_learning_rate (float) - 最大学习率，需要注意的是，实际的学习率由 base_learning_rate 与初始幅度的缩放求和而来，因此实际学习率可能达不到 max_learning_rate 。

• step_size_up (int) - 学习率从初始学习率增长到最大学习率所需步数。每个循环总的步长 step_size 由 step_size_up + step_size_down 定义，论文中建议将 step_size 设置为单个 epoch 中步长的 3 或 4 倍。

• step_size_down (int，可选) - 学习率从最大学习率下降到初始学习率所需步数。若未指定，则其值默认等于 step_size_up 。

• mode (str，可选) - 可以是 triangular、triangular2 或者 exp_range，对应策略已在上文描述，当 scale_fn 被指定时时，该参数将被忽略。默认值为 triangular。

• exp_gamma (float，可选) - exp_range 缩放函数中的常量。默认值为 1.0。

• sacle_fn (function，可选) - 一个有且仅有单个参数的函数，且对于任意的输入 x，都必须满足 0 ≤ scale_fn(x) ≤ 1；如果该参数被指定，则会忽略 mode 参数。默认值为 False 。

• scale_mode (str，可选) - cycle 或者 iterations，表示缩放函数使用 cycle 数或 iterations 数作为输入。默认值为 cycle。

• last_epoch (int，可选) - 上一轮的轮数，重启训练时设置为上一轮的 epoch 数。默认值为 -1，则为初始学习率。

• verbose (bool，可选) - 如果是 True，则在每一轮更新时在标准输出 stdout 输出一条信息。默认值为 False 。

返回¶

用于调整学习率的 CyclicLR 实例对象。

代码示例¶

>>> # Example1: train on default dynamic graph mode
>>> import paddle
>>> import numpy as np

>>> # train on default dynamic graph mode
>>> linear = paddle.nn.Linear(10, 10)
>>> scheduler = paddle.optimizer.lr.CyclicLR(base_learning_rate=0.5, max_learning_rate=1.0, step_size_up=15, step_size_down=5, verbose=True)
>>> sgd = paddle.optimizer.SGD(learning_rate=scheduler, parameters=linear.parameters())
>>> for epoch in range(5):
...     for batch_id in range(20):
...         x = paddle.uniform([10, 10])
...         out = linear(x)
...         loss = paddle.mean(out)
...         loss.backward()
...         sgd.step()
...         sgd.clear_gradients()
...         scheduler.step()        # You should update learning rate each step

方法¶

使用本API的教程文档¶

• Pytorch 写法