paddle.amp¶
paddle.amp 目录下包含飞桨框架支持的动态图自动混合精度(AMP)相关的 API。具体如下：
AMP 相关 API¶
API 名称 |
API 功能 |
|---|---|
|
|
创建 AMP 上下文环境 |
|
|
根据选定混合精度训练模式，改写神经网络参数数据类型 |
|
|
控制 loss 的缩放比例 |
开启 AMP 后默认转化为 float16 计算的相关 OP¶
OP 名称 |
OP 功能 |
|---|---|
conv2d |
卷积计算 |
matmul |
矩阵乘法 |
matmul_v2 |
矩阵乘法 |
mul |
矩阵乘法 |
开启 AMP 后默认使用 float32 计算的相关 OP¶
OP 名称 |
OP 功能 |
|---|---|
exp |
指数运算 |
square |
平方运算 |
log |
对数运算 |
mean |
取平均值 |
sum |
求和运算 |
cos_sim |
余弦相似度 |
softmax |
softmax 操作 |
softmax_with_cross_entropy |
softmax 交叉熵损失函数 |
sigmoid_cross_entropy_with_logits |
按元素的概率误差 |
cross_entropy |
交叉熵 |
cross_entropy2 |
交叉熵 |