3.0 Beta Release Note¶

不兼容升级¶

• 飞桨 API 支持隐式类型提升。在加减乘除等最常用的计算中，如果两个输入的数据类型不一样，就需要确定输出的数据类型问题。飞桨历史上的现状是部分支持且实际规则并不清楚，客观上表现为动静不一致、API 和运算符重载不一致 及 不符合交换率，特别是在大模型广泛使用 bf16/fp16 与 fp32 进行混合计算时容易出现非预期问题且难以定位。飞桨从 3.0 beta 版本开始，明确了隐式数据类型提升规则，其中详细定义了 Tensor 与 Tensor 和 Tensor 与 1 个数(Scalar)计算结果的类型，保证了计算符合交换律，运算符重载与二元 API 结果一致，动态图与静态图结果一致。更符合用户理解和业界习惯。#60638, #63842, #60011

废弃功能¶

• 支持 0 维 Tensor 已经稳定了 2 个版本，本版本取消了在一些情况下将 0 维 Tensor 转成只含 1 个元素的 1 维 Tensor 的开关FLAGS_set_to_1d，这个开关是为了兼容一些套件中用 1 个元素的 1 维 Tensor 表示 0 维 Tensor 的不正确写法。即当前飞桨完全区分 0 维 Tensor 和只含 1 个元素的 1 维 Tensor 的语义，两者不等价。#61227

新增 API 功能¶

此版本相比上一个版本新增 126 个 API，API 功能更加丰富，以更好支持大模型、科学计算等需求，包括：

• 新增 Tensor 计算类 API。paddle.gammaln, paddle.gammainc, paddle.gammaincc, paddle.sinc, paddle.pdist, paddle.histogramdd,paddle.signbit, paddle.copysign, paddle.bitwise_right_shift/bitwise_left_shift, paddle.isposinf/isneginf/isreal, paddle.isin, paddle.hsplit/dsplit, paddle.column_stack/row_stack/dstack/hstack/vstack, paddle.slice_scatter, paddle.masked_scatter #60553, #59311, #59357, #63521, #57869, #57880, #57882, #60150, #57785, #58092, #63523, #64001, #58917, #59127, #59973, #59383

• 新增概率分布类 API。paddle.distribution.ContinuousBernoulli, paddle.distribution.MultivariateNormal, paddle.distribution.Exponential, paddle.distribution.Gamma, paddle.distribution.Binomial, paddle.distribution.Poisson #58004, #57899, #57856

• 新增优化器类 API。paddle.optimizer.ASGD, paddle.optimizer.NAdam, paddle.optimizer.RAdam, paddle.optimizer.Rprop #58834, #63671, #58851

• 新增线性代数类 API。paddle.linalg.matrix_exp #59715

• 新增其他 API。paddle.bernoulli_, paddle.nn.ZeroPad1D/ZeroPad3D, paddle.nn.AdaptiveLogSoftmaxWithLoss, paddle.Tensor.apply #64252, #59690, #63728, #63302, #59374,#63227

部分 API 功能增强¶

• 增强了约 30 个 API 以支持复数计算，如paddle.log, paddle.log1p, paddle.square, paddle.reciprocal等，进而扩展对更多科学计算场景的支持。#62448, #60821, #60897, #62764, #59536, #59529, #63207, #62237, #64684

• 增强了 46 个 API 的功能，使得已有 API 更易用，也更容易进行代码转换。包括但不限于增加 API 参数，扩展 API 支持的数据类型，以及修正原有不合理设计等。#59890, #63513, #59674, #62778, #64110, #63222, #64331, #64715, #61155, #60070, #61974, #62407, #62672,#62722， #62876, #63284, #63860, #60466, #63690, #63953, #63901, #62624, #59857, #60084, #60766, #62788, #62937, #63134, #62966, #63648, #63881, #64358, #60503, #63604, #62338

• 增强了高阶微分的单测基础设施，能够更容易地添加高阶微分的单测用例。#62074

API 性能提升¶

• 对 Tensor 基础索引、高级索引和联合索引的性能进行了集中优化，在 GPU 上的计算性能较此前提升 2 到 31 倍，CPU 上提升 1.8 到 1004 倍。#60254, #60276, #60452, #60771, #61021, #60983, #61060, #60618

Bug 修复¶

• 修复 paddle.optimizer.LBFGS 中使用非 Tensor 进行计算导致的报错。 #60219

• 修复 paddle.optimizer.LBFGS 中随机数不能固定的问题。 #60591

• 修复 set_value 算子梯度计算不正确的问题。 #59034

• 修复 Tensor 基础索引适配 PIR 的问题。 #60259, #61103

• 修复 Tensor 联合索引赋值时的问题。#60376, #60447

• 修复 Tensor 联合索引取值时的问题。 #61922

• 修复 paddle.flatten stride 计算错误问题，并能够新增paddle.flatten_ 。#63084

• 修复 paddle.index_fill 和 paddle.index_fill_ 结果不一致问题。 #59863

• 修复 paddle.masked_scatter报错问题。 #60835

• 修复 paddle.histogramdd cpu 报错问题。 #61891

• 修复 paddle.cast_ 在 cpu 上连续使用导致结果错误的 bug。 #60054

• 修复 paddle.put_along_axis 在输入 size 很大的时候存在 bug 的问题。 #60551

• 修复 paddle.nanmedian cpu 报错问题。 #63221

• 修复 paddle.median 在 min 分支下不支持输入为除浮点类型以外的类型。 #64444

• 修复 分布式场景中的 dataloader 问题。 #62696, #63378

• 修复 error 提示的格式问题。 #63106, #63144

• 修复 GLOG_v>=6 下格式问题。 #63345

安全改善¶

• 增强对 parent_ids 的检查。 #62826

功能优化¶

• 完善 PIR 的基础功能，包含基础的类型系统增强、调试、打印、Pass 开发、AMP 支持等，提升 PIR 的研发效率。#60723, #60677, #60783, #60798, #61053, #61366, #61446, #60024, #59939, #63376, #61853, #63914, #60170, #60678, #64093, #64065, #62451, #59784, #60136, #63336, #62108, #60860, #60536, #60590, #60752, #61435, #62977, #62139, #60432, #61452, #61978, #62262, #62422, #60359, #62989, #61297, #61399, #61871, #61496, #62413

• 优化飞桨执行器执行逻辑，完善 Pass 体系，提升训推性能表现，并更好的支持分布式并行的逻辑运行。 #60182, #60516, #63573, #60181, #59792, #62025, #61160, #61188, #61277, #61669, #60823, #61310, #60892, #60578, #61657, #62638, #63960, #64234

PIR 新功能¶

• 基于 PIR 实现反向逻辑，直接生成反向计算图，同时支持高阶微分。 #60174, #60328, #60818, #61352, #61661, #61927, #62772, #60360, #60866, #60970, #60810, #64696, #59844, #59999, #60262, #60338, #59935, #59982, #60221, #62621, #60044, #59790, #60529, #61378, #61584

• 基于 PIR 实现控制流逻辑，提升 PIR 的表达能力，更好的支持训练和推理等多场景业务。#61396, #64045, #60953, #61091, #61304, #62093, #64710, #60668, #60433, #60963, #61192, #60895, #60017, #60369, #60330, #60364, #61416, #60460, #60703, #61027

• 基于 PIR 实现 save/load 逻辑，打通 PIR 和上下游训练和推理业务的流程。 #63438, #63574, #64281, #64327, #63622, #64507, #63389, #63539, #63749, #63957, #64044, #64121, #64239, #63818, #63910,#63380#63380,#63275,#63663,#64692,#63958

• 完成 OneDNN 相关基础功能开发和验证，为 OneDNN 全面切换做准备。 #60680, #60665, #63162, #59917, #62901, #59918, #60257, #60502, #61062, #61170, #61474, #60874, #61495, #61664, #61649, #61592, #61667, #61137, #60952, #61651, #62126, #62187, #61307, #62734, #60974, #61451, #61011, #61218, #61623, #61893, #61876, #61892, #62085, #62220, #62244, #62265, #60754, #60896, #61868, #61659, #62241, #62471, #61165,#64441,#63141,#63145,#63592,#63617,#63518,#63726,#63853,#63812,#63811,#64524,#62993,#63516,#62998,#63151,#64661,#64433,#64448,#63201,#63230,#63233,#63281,#64671,#63274

• 基于 PIR 实现 Sparse 相关逻辑，包含基础的 Type 类型和算子表达，并完成 Sparse 重点功能验证。 #62868, #63015, #62894

动转静功能优化¶

优化动转静基础能力，适配 SOT 训练场景下的动态维度，支持 Python3.12。

• 完成动转静场景的 PIR 适配。#60988, #61936, #59929, #61790, #64323, #62030, #61143, #62680, #63309, #63311, #62199

• SOT 适配 Python 3.12 版本字节码，动转静 SOT 功能能够在 Python 3.12 版本使用。#61414, #59562, #61031, #61272, #61412, #61305, #61964, #62008, #62028, #61995, #62073, #62120, #62218, #62155

• SOT 完成训练场景动态维度的适配，避免维度发生改变，触发重复构图，提升运行效率。#64278, #64435, #64499, #64500, #62080

算子机制¶

针对飞桨框架部分算子 Kernel 实现不完备、计算逻辑不高效等问题，我们对飞桨的部分算子功能和算子体系内部机制做了进一步的完善优化，修复部分已知问题，并新增了一些特性支持。

• 针对 XPU Kernel，优化了numel、concat、slice等算子的数据类型支持，以及AdamW优化器的混合精度训练支持等。#63715, #61617, #61694, #64542, #63644, #61340, #63108

• 对部分算子进行了功能和性能的改进。#59413, #60295, #64304, #60979, #63556, #63061, #62533

• 完善组合算子的内部实现机制，并且为部分算子新增和优化组合拆分逻辑。#59448, #60505, #59891, #63161, #63245, #63782, #64346, #63156, #63171, #61315, #61701, #61874, #61873, #62059, #61912, #62112, #63011, #63009, #64714

Bug 修复¶

• 修复 PIR、执行器、动转静等相关的 Bug。#64442, #60443, #60122, #60625, #60607, #60705, #61110, #61278, #61448, #61491, #61692, #62100, #62239, #62365, #62758, #63395, #64272, #62165, #64151, #64204, #64815, #63757, #61972, #64806, #60010, #60461, #60310, #62006, #61591, #60327, #60720, #64656, #60236, #60684, #60790, #60944, #62056, #62891, #64676, #60271, #60634, #60663, #60827, #60845, #60905, #60945, #60949, #61107, #61111, #61117, #61158, #61177, #61355, #61593, #61666, #61934, #62216, #62491, #62515, #62594, #62605, #62895, #62913, #64413, #59947, #60264, #60721, #63113, #63629, #64300, #64450, #64532, #64561, #64625, #64731, #60059, #60487, #60423, #61599, #62032, #62686, #64055, #60751, #61646, #60454, #62530, #62821, #64454, #64754, #59860, #60280, #60357, #60363, #60900, #61185, #61505, #61644, #62256, #62396, #63040, #63409, #63764, #59571, #59894, #59569, #59896, #60015, #60081, #60164, #60200, #60211, #60267, #60458, #60395, #60907, #60707, #60993, #61401, #61433, #61450, #61577, #61575, #61703, #61711, #61883, #61822, #62012, #61858, #62176, #62257, #62470, #62536, #62606, #62808, #62854, #62879, #62864, #63063, #62958, #63397, #63805, #63694, #64168, #64184, #64174, #64315, #64362, #64400, #64475, #64458, #64548, #59858, #61132, #62010, #62069, #62707, #62921, #63085, #63321, #63351, #63549, #64567, #59936, #60269, #60879, #61314, #61391, #61479, #61789, #61832, #61864, #61917, #62052, #62068, #62293, #62479, #62506, #59948, #64118, #64126, #64195, #64307, #64314, #64276, #64312, #64350, #64319, #64463, #64457, #64455, #64487, #64645, #63155, #59893, #63332, #63332, #64786, #60515, #60627, #60863, #60854, #61447, #61440, #61932, #62131, #62252, #62283, #62358, #62411, #62424, #62810, #62811, #62896, #62947, #63182, #63190, #63294, #63306, #63352, #63404, #63474, #64013, #64674,#60055,#62050,#62770,#63234,#63374,#64277, #63420, #60312, #63810, #64631, #63970, #63708, #62062, #60898, #62373, #59878

• 修复部分算子机制、算子实现逻辑和相关单测的 Bug。#63792, #60570, #61572, #59971, #61336, #63276, #63251, #63697, #63706, #64685, #64009, #62461, #61568, #63912, #60475, #60222, #63961, #63593

开发者相关内容¶

• 开发者相关内容，包含 PIR 切换、单测开启、功能验证等 PR。 #60621, #59703, #59694, #59717, #59729, #59730, #60216, #60238, #60246, #60343, #60302, #60870, #59956, #60795, #62528, #59932, #59636, #59959, #59734, #60287, #60347, #60335, #60332, #59631, #60255, #60329, #60401, #60522, #60792, #59617, #60277, #60584, #60911, #61322, #60838, #60602, #61458, #61607, #61960, #60484, #61662, #62263, #62270, #62469, #62416, #62443, #62412, #62541, #62634, #62369, #60805, #62644, #62494, #62767, #62735, #62802, #62801, #62783, #62579, #62833, #62668, #62972, #62505, #63005, #62900, #60577, #60877, #61076, #61038, #61112, #61120, #61582, #61119, #61036, #61289, #60695, #61039, #61963, #62118, #62797, #62807, #62887, #62830, #62849, #62750, #62965, #59742, #59867, #60836, #60902, #61228, #60037, #60079, #60173, #60373, #60380, #60381, #60750, #61065, #61122, #61074, #61204, #61191, #61182, #61219, #61296, #61503, #61484, #61513, #61476, #61510, #61511, #61526, #61524, #61525, #61466, #61497, #61538, #61533, #61530, #61468, #61527, #61535, #61512, #61531, #61539, #61532, #61521, #61517, #61518, #61550, #61545, #61548, #61519, #61549, #61574, #61585, #61581, #61553, #61504, #61603, #61534, #61567, #61523, #61565, #61564, #61707, #61560, #61684, #61706, #61724, #61719, #61729, #61763, #61755, #61737, #61750, #61753, #61756, #61777, #61758, #61731, #61771, #61739, #61559, #61717, #61733, #61563, #61546, #61566, #61562, #61793, #61902, #61905, #61904, #62227, #62332, #62653, #62681, #62709, #62794, #62938, #63185, #63754, #63769, #63793, #63830, #63939, #64340, #64657, #62527, #64088, #60203, #60372, #60685, #60815, #60791, #60864, #60851, #60844, #60694, #60855, #60869, #60948, #61042, #61455, #61580, #61589, #61609, #61616, #61715, #61716, #61759, #61555, #61492, #61805, #61712, #61615, #61713, #62129, #59294, #59865, #60270, #60547, #60698, #60762, #60753, #60966, #60976, #61100, #61203, #61210, #61424, #61213, #61275, #61276, #61279, #61292, #61295, #61298, #61299, #61301, #61302, #61329, #61804, #62745, #62909, #64247, #64308, #60690, #61149, #61145, #61193, #61207, #61229, #61236, #61244, #61242, #61263, #61370, #61410, #61480, #61522, #61540, #61520, #61625, #61700, #61708, #61736, #61889, #61952, #62033, #62637, #62777, #62779, #63226, #63287, #63398, #63431, #64000, #64058, #64059, #64063, #64066, #64089, #64170, #64235, #64237, #64243, #64242, #64286, #64322, #64317, #64490, #60138, #62384, #59702, #60341, #60636, #60714, #60716, #60700, #60702, #60704, #60715, #60713, #60711, #60724, #60803, #61331, #63286, #60473, #61046, #61859, #60675, #60719, #62863, #63013, #61293, #62781, #62935, #63014, #64203, #63349, #59572, #59911, #59861, #60014, #59913, #58889, #60114, #59928, #60180, #60168, #60166, #60250, #60247, #60172, #59661, #58880, #60291, #58881, #58955, #58684, #58708, #60323, #58762, #60048, #60345, #60325, #59627, #60416, #60434, #59801, #60619, #60445, #60666, #60353, #60733, #60693, #60350, #61096, #61121, #61164, #62054, #62136, #62508, #62988, #63472, #60193, #60197, #60198, #60346, #60318, #60645, #60650, #60660, #60706, #60799, #60837, #60817, #60820, #60894, #61079, #61087, #61073, #61072, #61127, #61097, #61365, #61456, #61846, #62217, #62519, #62881, #62880, #59723, #59722, #59797, #59960, #59761, #59996, #60009, #58896, #60051, #60410, #60420, #60548, #60575, #60726, #60809, #61346, #61222, #61099, #62254, #62269, #62362

• 完善飞桨底层报错检查等机制，方便开发者调试。#62571, #62602, #60903, #64695, #59907, #62018, #62839, #60651, #61488, #64064, #63192, #63525。

漏洞修复¶

• 修复潜在的安全漏洞。#59957, #61032, #61356, #61573, #61671, #62345, #60097, #61161, #61294, #61349, #61344, #61162, #61285, #61826, #59967, #59976, #59979#60527,#60646,#61827

废弃功能¶

• 清理废弃的执行器等逻辑，减少冗余代码。#64822, #60941

新功能¶

1. 升级了全新的子图自动融合机制，创新性提出了 TrivialOp 和 ReduceOp 融合理论，支持更广泛的垂直融合和水平融合范围，保障了子图融合的正确性和鲁棒性，充分发挥神经网络编译器的融合潜力（#63340、#63913、#63579、#63605、#60769、#62088、#63124、#63658、#64557、#63318、#62545）

2. 新增支持了动态形状的符号推导功能，基于 Shape Dialect 实现了动态符号构建、自动推导、约束表达、符号化简等机制，引入 DimExpr 概念，升级支持了飞桨框架 150+个典型基础算子的 InferSymbolicShape 逻辑，为编译器支持动态形状下的训练和推理提供更多信息（#60843、#62662、#63790、#60098、#60511、#61232、#61939、#62798、#62955、#63029、#60572、#61035、#61224、#61587、#61937、#62314、#62394、#62569、#62495、#62844、#63000、#63016、#64222、#60129、#60899、#61342、#61439、#62766、#61133、#61430、#61498、#61680、#63367、#62151、#62665、#61407、#61502、#61655、#64115、#61791、#62141、#63422、#63577、#63978、#63576、#63947、#64332、#63990）

3. 新增了 Pass Pipline 功能，包括 PdToCinn、CinnPreprocess、BuildGroupOp、DivideGroupOp、CinnLowering、精度检查等 Pass 策略，统一支持动、静形状下子图的 Lowering 和执行，架构清晰（#61611、#62612、#64354、#61848、#62316、#64152、#61619、#62318、#61977、#62211、#63972、#63686、#64505）

4. 新增支持了 BuketLower 和 DyShapeSchdule 功能，根据动态形状的范围实现自动分桶编译优化；并适配升级了 CodeGen 模块逻辑，支持 InferShape 函数生成和 Host 函数的条件分支分发功能，支撑大模型的动态 Shape 下训练推理加速（#62730、#61115、#59941、#62207、#64318、#64345、#60519、#62584、#60828、#60533、#61436、#62071、#63971、#61656、#63083、#64405、#63047、#64655、#63095、#63829、#63572）

5. 新增支持了编译缓存策略，自动识别、合并和复用相同子图结构的编译结果，使用多线程提升编译效率，提升用户的使用体验（#62952、#63269、#64718、#61367、#63305、#63750、#63871、#64893）

6. 新增支持了 GenerateShape 机制，添加了对应的 AST Compute 算子定义，支持动态符号的自动解析，以及在 Lowering 阶段自动生成 ShapeOp（#64167、#64636、#61993、#64843、#62587）

功能优化¶

1. 优化了 BuildCinnPass 逻辑，升级编译器对黑白名单算子的感知策略，提升了 Pass 逻辑的鲁棒性（#62372、#61081、#61225、#58863）

2. 优化了 OpLoweringGroup 数据结构，移除了不必要的接口和成员，降低上下游模块的耦合度（#62339）

3. 优化了编译器关于架构 Arch 的组件设计，抽象硬件概念，降低国产硬件的适配成本（#63530、#64347、#64506、#64587）

4. 升级了编译器后端算子 AST Compute 模块，适配支持了动态 Shape 的计算逻辑（#62488、#63581、#63687、#63654、#64217）

性能优化¶

1. 优化了 AST IR 的 Schedule 逻辑，重构了 Vectorize、Unroll、AxisBind、ComputeAt 等核心模块，合并动静形状迭代路径，降低开发维护成本（#60449、#60155、#60342、#60498、#60538、#60190、#61197、#63140、#61156）

2. 优化了 Tiling 策略和 temp Buffer 功能，支持 warp-level 内存连续 Read 和 cache_read cache_write 功能， 提升子图执行性能（#64240、#60562、#64711、#62856、#61576、#61901、#62581、#61987、#60190、#63138、#62517）

3. 支持 Schedule 配置的自动搜索功能，AOT 式离线保存机制实现子图 Kernel 的性能加速（#64271、#64588、#64694、#64620、#64702、#63086）

4. 支持了 OptimizeReductionTactic 优化策略，提升 Reduce 场景下的 kernel 性能（#6066、#61363、#60881、#63859）

5. 增强了 DCE Pass 功能，移除了多余的 If/For 分支代码，提升执行效率（#61682）

6. 新增支持了 FuseParallelMatmulPass Pass，可融合多个 Matmul 算子实现加速（#63623）

Bug 修复¶

1. 修复了部分特殊算子在 Lowering 到编译器时 BUG，提升了端到端使用的用户体验（#60800、#64720、#62593、#62661、#64626、#63320、#64581、#61608、#64135、#64659、#62391、#62490、#63891、#64529）

2. 修复了部分算子符号推导实现逻辑的 BUG（#62141、#62376、#62941、#63322、#64672、#64407、#60241、#60440、#62503、#62997、#63169、#61098、#63973、#62248、#62321、#63755、#63917、#63903、#64173、#64525、#64615、#62247、#62455、#62898、#62867、#63608、#63789、#64085、#64136、#64181）

3. 修复了动静形状下编译器执行结果错误的诸多问题，提升了框架机制的鲁棒性（#60813、#61877、#61909、#62954、#63614、#60339、#60623、#60658、#60669、#58823、#62483、#62742、#61797、#63411、#64077、#62736、#62390、#63689）

废弃功能¶

1. 移除了 adt DimExpr、SymbolicDimExpr、ShapedTypeInterface 等无用的符号相关组件（#60901、#60933、#60744、#64176、#64140）

2. 移除了旧的 Group Cluster、旧 IR 下的前端表示等相关组件，提升架构层面的简洁性（#63683、#64630、#61380）

功能完善¶

• 新增 dtensor_from_local 接口，用于从切分后的局部张量创建 DistTensor（与之对应的，shard_tensor 是从切分前的全局张量创建 DistTensor）。#60206

• 新增 unshard_tensor 接口，用于将 DistTensor 转为全局张量，该接口与 shard_tensor 是互逆操作。#60272

• 为减少训练时的显存占用，新增 Sharding 策略，包括 stage1，stage2 和 stage3。#61926, #62711, #62486, #62230

• 为解决先初始化参数再切分参数时可能出现的显存不足问题，新增自动并行参数 LazyInit 功能，支持先切分参数，再初始化参数。#60316, #60441, #60563, #61792

• 为减少流水线并行的 bubble，新增 interleaved pipeline 并行策略，同时支持通过配置的方式自动将用户组网的 pipeline 并行自动转为 interleaved pipeline 并行，让用户无需在组网中进行复杂的标记。#59751, #60050, #60467, #60868, #60187, #62884, #60560, #61541

• 新增 stack, gather, scatter_grad, cumsum, unbind, swiglu, fused_linear_param_grad 等算子的切分推导规则，完善和优化 fused_rope, reshape, flatten, fused_rms_norm, slice, tile, flash_attn, cross_entropy 等算子切分推导规则实现，解决在部分模型组网场景中不兼容的问题。#62720, #64202, #63361, #63290, #61460, #59986, #61184, #60144, #62525, #62053, #60709, #60111, #63681, #62180, #60794, #60632, #62439

• 完善分布式 checkpoint 存储和加载功能，支持 master_weights 存储，修复随机挂问题。#60027, #59872

• 为支持任意 shape 张量的自动并行，新增支持张量非均匀切分特性。#62611, #61432

• 为支持用户在自动并行组网中使用自定义算子，支持用户在框架外注册自定义该类算子的切分推导规则。 #60509

• 完善切分转换规则，支持从任意状态转为 replicate 以及从 replicate 状态转换为任意状态。#60281, #59869

• 新增 MoE 专家并行策略（experimental），目前仅支持动态图自动并行。#63904

• 修复自动并行与动态图执行、动转静等流程适配的部分问题。#60214, #60546, #62082, #61313, #61840, #60614, #60234, #64813, #61606, #63405, #64334, #60504

性能优化¶

• 为减少流水线并行中的 bubble，支持 backward 中参数和激活的反向计算拆分，新增 zero bubble pipeline 调度策略，提升训练性能。#62865, #62737, #64534,

• 为提升序列并行（sequence parallel）的性能，对相关通信操作和计算操作进行 fusion，并优化冗余的 transopse 操作。#64807, #63948, #64316, #64119

• 优化静态图自动并行图优化耗时，减少从启动训练到第一个 step 完成的延时。#59912, #61817, #60022, #60125

• 优化混合并行场景下相关通信操作的耗时。#62157, #61622

• 优化自动并行动转静下参数的的冗余显存占用。#62746

• 完善自动并行的混合精度训练功能，支持设置局部 auto_cast 和黑白名单，支持 master grad 功能，适配不同的并行策略等。60158, #59987, #62629, #60385, #62015, #60514, #61221, #60779, #63228

• 优化 type promotion 和 amp 带来的非必要的 cast，提升性能。#63293, #63228

静态图自动并行架构升级¶

• 基于新一代中间表示 PIR，新增 DistDialect，在计算图表示中原生支持了分布式属性（DistAttr）和分布式张量（DistTensor），实现了分布式属性和张量或算子的直接绑定，使自动并行架构更简洁统一。#63828, #64299, #63870, #64144, #62524, #62630, #62897, #60478, #60574, #63876, #63798, #62560, #63676

• 完成自动并行 PIR 新架构对 shard_tensor、reshard、to_static 等 API 的适配，支持用户将动态图模型组网直接转成 PIR 静态计算图进行优化和训练。#62945, #62356, #60175, #62654, #63347

• 优化静态图自动并行的图优化编译过程，通过重构优化静半中计算图切分和通信解析两个主要过程的实现，减少静态图编译优化耗时。#64137, #62201, #64143, #62560

• 优化静态图中切分推导规则的调用流程，实现切分推导结果在动-静态图下的一致，提升了架构的统一性和稳定性。 #62659, #62547, #63117, #63434, #63770, #64361, #63073

• 升级静态图中张量切分转换的实现，动-静态图下使用一致的切分转换通信规则，保障动-静态图下张量切分转换执行逻辑和结果的一致性，提升用户体验。#62718, #62694, #60215, #63362, #63072, #63962, #64223, #61796, #64465, #64623, #64418

训练策略自动搜索和调优¶

为提升训练策略自动搜索和调优工具（AutoTuner）的易用性，支持用户自定义搜索项，支持设置搜索项的优先级，支持用户配置不合法的策略组合，全面增强了运行时和运行后日志中的报错信息，支持在 NPU 设备上进行 AutoTuner。#60101, #60294, #61898, #60248, #60417, #60954, #61499, #62724, #60954, #63693, #62853, #62984

功能完善¶

• FlashAttention 算子功能增强，包含支持 NVIDIA SM90 GPU 编译，支持 Group Query Attention，支持 cuDNN 接入，支持 QKV-packed 形式输入等。#59820，#60776，#58680，#63289

• repeat_interleave 算子添加 BFloat16 数据类型的支持。#61854

• 针对 fused_scale_bias_add_relu、fused_scale_bias_relu_conv_bn、fused_dconv_drelu_dbn 等 ResNet 类模型接口参数多、算子易用性查等问题，添加了 fuse_resunit pass，支持上述算子的自动融合，实现通用性能优化。(#59771)

性能提升¶

• 针对 Llama 类模型 SwiGLU 激活模块计算过程显存占用较大的问题，新增了 SwiGLU 融合算子，节省中间变量的显存占用，从而降低大模型训练过程显存开销，减少重计算以提升性能，Llama-70B 模型性能提升 9%。 #61508

• 针对序列并行（Sequence Parallel）过程通信占比较高的问题，实现了序列并行反向过程通信与 Matmul 计算的 overlap，节省端到端耗时，在大模型训练场景端到端性能提升 1%~2%。#62284，#63531

• 针对 Sharding 反向通信后仍需要除以 nranks 导致训练速度慢的问题，支持了反向通信与除以 nranks 运算的融合，支持 ReduceScatter Average 的模式，提升大模型训练性能。#62623

• 针对张量模型并行过程输入数据广播过程导致训练速度抖动的问题，修复了数据广播过程的不必要的 CPU 和 GPU 间的同步，保证训练速度的稳定性。#60816

• 针对流水线模型并行 P2P 通信时间较长导致训练速度低下的问题，实现了 P2P 通信与前反向计算的 overlap，大模型端到端训练性能提升 2%~3%。#61935,#62051

• 针对 fused_linear_param_grad_add 算子 bias 梯度计算效率低下问题，优化了 bias 梯度计算环节的计算效率，大模型端到端训练性能提升 0.2%。#63114

• 针对 Sharding 反向计算结束后参数广播过程耗时较长的问题，实现了参数广播与下一个 step 计算的 overlap，大模型端到端训练性能提升 2%以上。#63945

• 针对流水线并行训练过程梯度占用显存过高从而引入过多重计算导致训练速度慢的问题，实现了梯度动态释放技术，大模型端到端训练性能提升 3.4%。#59739

Bug 修复¶

• 修复 StreamSafeCUDAAllocator CUDA Event 资源泄露导致大模型训练降速等问题。#64621

• 修复 fused_rotary_position_embedding 算子反向计算错误的 bug。#60217

• 修复自定义算子在 AMP 场景下无法通过黑白名单控制计算精度的 bug。#60052

• 修复 add_、divide_等原生支持不同数据类型运算的算子在类型提升时发生预期外的类型提升的 bug。#64302

功能优化¶

• 优化了 Autotuner 的搜索空间，大幅提升了搜索的性能。#62608

• 针对流水线并行中由于在 eval 过程检查发送类型，导致训练可能出错的问题，增加训练配置，跳过流水线发送的冗余接收检查，灵活性更高、性能更好。#63001

• 在动态图流水并行中，增加了发送和接收数据的大小和类型的的检查，增加报错信息，使得鲁棒性、可调试性更好。#59405

• 支持动态图流水并行设定多个损失函数，并返回多个 loss，提升了动态图流水线的灵活性。#63167

• 在动态图流水并行中，增加流水线缓存清除配置选项，可以及时清除流水线中发送和接受的 cache，更好的支持动态 batchsize 训练。#62277

• 针对 sharding stage3 策略无法逐位对齐的问题，将无序的 set 集合换成了有序的 OrderedSet，避免了累加顺序导致的误差，修复完后可以逐位对齐。#60085

• 为了进一步降低针对序列并行中显存占用，新增重计算 allgather 的方法，减少 allgather 的 activation 的显存大小。#64244

动态图新功能¶

• 针对 autotuner 的搜索空间，新增了 refined recompute 的搜索维度，使得搜索结果更精准，调优模型的门槛更低。#62430

• 针对虚拟流水线并行中，需要限制训练批大小的问题，修改了流水线调度方式，解除批大小限制，支持更灵活的批大小。#61561,#60314

• 针对使用 flash attention 具有 mask 时，mask 的显存占用随序列长度呈二次方复杂度、性能低的问题，使用稀疏的 mask 表达、优化 mask 的显存，显存复杂度从序列长度的二次方降低为一次方，减少了存储的访问次数，同时使用 share memory 加速访存，大幅提升性能。#62029

• 动态图 Sharding 并行策略新增完善通信和计算 overlap 功能，提升训练过程中的性能。#60455

通信库功能优化¶

• 增强 NCCL 通信库的功能，支持初始化时传入额外的初始化参数以支持定制的 NCCL 库的初始化。#62193

• 增加 NCCL 库路径查找功能，支持更灵活的 NCCL 库查找方式。#62492

Bug 修复¶

• 修复 fused_linear_param_grad_add_kernel 算子 dbias_out 空间申请问题，同时增加梯度地址检查逻辑，使得报错信息更易调试。#363433,#64460

• 修复 sharding 策略在支持 reduce_avg 操作中、comm_overlap 在关闭时未对梯度进行缩放的问题。#62702

• 解决 Stage2 中 main grad 计算顺序、fusion 相关的 bug。#59142

• 修复 sharding 策略下，当开启 reduce_avg 通信操作时，无法找到该开关属性的问题。#62502

• sharding stage1 训练支持非训练参数训练，解决部分参数设置 stop_gradient=True 的问题。#62616

• 修正 TCP 关闭时打印的信息，防止误导用户。#62631

• 针对数据并行训练中，部分梯度没有初始化，出现 segmentation fault 错误，修改 DataParallel 训练问题，解决多卡训练出错的问题。#62299

• 针对开启序列并行的场景，修复了部分模型因为权重冻结而导致的 bug。#63596

• 针对单路 dp 的 autotuner 场景，修复了一些 bug。#60757

• 修复流水并行策略 aadiff bug。 (#64716)

• 移除部分分布式单测。 (#62762)

安全风险修复¶

• 针对 prune_by_memory_estimation 算子中存在安全泄露风险，修补安全漏洞。#61320

Bug 修复¶

• 针对 unique 算子读写越界的问题，修复了 unique 算子计算过程长度设置错误问题，保证 unique 算子运算正确性。#60840

• 针对 PGLBox 训练过程 save/load 功能缺失以及编译错误等问题，修复了 PGLBox save/load 和编译过程的若干 bug，保证了 PGLBox 功能的正确性。#63905

• 针对 CPUPS 训练过程触发 GPUPS 逻辑导致训练挂掉的问题，修复了 CPUPS 中 use_ps_gpu 的设置值，保证 CPUPS 训练流程的正确性。#61406

• 针对 GPUPS 在 CUDA 12.3 中训练出 cudaErrorInvalidResourceHandle 错误的问题，加入了 device id 切换机制，保证在正确的设备上进行对应的资源操作。#63391

• 针对 PGLBox Embedding Dump 过程出现乱码的问题，修复了 C++ std::string 使用不当的 bug，保证 Embedding Dump 结果的正确性。#65179

文档完善¶

• 在 RPC 接口文档中接入安全警告，提醒用户需要在安全的网络条件下使用此接口。#64100

安全加强¶

• 修复若干代码安全问题，防止恶意代码注入。#60023，#60544，#60615

新增功能¶

• Paddle-TensorRT

  • Paddle-TensorRT 底层调用的 API 升级，在 TensorRT 版本大于 8.5 以上时，调用的 EnqueueV2 API (后续会被废弃)升级为 EnqueueV3 API。#60807

  • 增加配置 config.exp_disable_tensorrt_subgraph()可以设置一些子图不进入 TensorRT。#61967

  • 增加配置 config.exp_disable_tensorrt_dynamic_shape_ops()可设置动态 shape 输入的算子不进入 TensorRT，默认值为 False。#62352

  • 增加配置 config.exp_specify_tensorrt_subgraph_precision()可以设置节点跑不同的精度类型。#62402

• Inference 中增加开启 CINN 编译器的开关，配置推理 config 时，通过 config.enable_cinn()开启 CINN。#61949

• Inference 升级使用 PIR 机制

  • config 增加 enable_new_ir()接口使能 PIR。#61968

  • config 增加 set_optimization_level()接口可设置不同优化等级。#61968

  • PIR 机制下 PASS 功能支持自定义 C++PASS。#62468

  • 推理库对外暴露 PIR 相关实现头文件，支持用户基于 PIR 的二次开发，如自定义 Pass 开发等。#61863,#62293

  • PIR 机制下支持通过对 Predictor 注册 Hook 操作算子的输入输出。#63101

• 多层 Transformer 融合算子 fused_multi_transformer_op 融合算子支持 GQA 计算。#64125

功能完善¶

• 推理支持直接加载优化后的模型，使得可以完全跳过 IR 优化，使用该方式部署可以最大程度降低框架开销。#61598

• 支持加载保存下来的经过 IR PASS 优化后的模型推理时，重新指定 shape 范围信息文件。#60457

• 控制流算子的子图内可收集 Shape 信息，支持使用 Paddle-TensorRT 推理加速。#60451 ,#59588

• GPU 原生推理的混合精度 PASS(auto_mixed_precision_pass)支持处理稀疏 Tensor。#62656

• XPU 硬件相关

  • XPU 针对 Conv 和 FC 的融合 PASS 支持 Float 到 INT31 类型的转换。#59981

  • XPU 的 strided slice 算子支持设置 strides 未负数。 #62268

  • XPU 的多层 Encoder 融合 PASS 可以自适应序列长度并支持变长 #63825

• Paddle TensorRT INT8 计算模式下支持 tile 算子进入 TensorRT 计算，提升部分模型 INT8 性能。 #60189

模型压缩¶

主要针对训练后量化（Post Training Quantization，PTQ）和量化训练（Quantization Aware Trainig，QAT）做了 bug 修复和功能优化。

• 支持模按照通道内分组的模拟量化#61828

• 支持动态图下自动保存量化 scale 到模型参数文件中#59441

• 去除中 dataloader 必须是 DataLoader 实例的限制#61798

性能优化¶

• 推理执行器升级，保正性能不变情况下，大幅度降低运行时显存占用，可通过 config.enable_use_executor(True)来使用。#57920,#58452,#63350,#64466

• 升级 paddle inference 的 oneDNN 版本到 v3.4，其中整体性能相比 v3.3 版本有提升。 #64661

• 升级基于 CUTLASS 支持矩阵乘与激活的融合计算。 (#61925)

Bug 修复¶

• 修复 faster_rcnn_swin_tiny_fpn_1x_coco 等模型中的混合精度转换问题，解决了 mixed_precision_pass 的错误。 #64673

• 阻止 fused_conv2d_add_act pass 在激活函数为 sigmoid 中被生效（cudnn 版本 8.0~8.7 之间时，融合 conv2d 和 sigmoid 会导致性能退化）。#64717

• 修复 self_dp_attention 和 fused_layer_norm_avx_kernel 在 Clang12 中的编译问题。 #63414

• 修复部分模型在 IR/Pass 阶段 qdq 算子中的 scale 和 zeroPoint 过早删除的问题。 #62225

• 修复同时开启 Config.UseOptimizedModel()和 config.EnableMemoryOptim()时导致报错的问题。 #62501

• 增加 matmul_scale_fuse_pass 的约束，其中输入 w 必须是权重，否则不会匹配该 pass。 #62850

• 保持 inference 模型输出键顺序保证与动态图模型导出时的顺序一致。 #63791

• 修复子图在常量折节 PASS 在”被折叠的 op 和其输入输出不在一个子图时”出错问题。 #62148

• 修复 PaddleTRT 模式下若干运行时问题。包括 int8 模式下 yolo_box 算子引起的量化校准表生成失败、reduce 算子 dim 属性数据类型未正确处理引起的报错。#61596

• 修复混合精度推理模式下若干运行时报错问题。包括 fused conv2d 算子间共享权重未正确转换权重 layout、fused conv2d 算子 backend 未正常选择为 cuDNN、fused conv2d 算子在 NHWC 下错误处理 bias 维度、错误处理 norm 类算子的输入数据类型引起的报错。#60955、#60076、#63007、#63988

• 修复 config.delete_pass 功能未生效问题。#61056

• PIR 中修复 While 控制流的 GC 机制，提前回收不需要的输入，减少峰值显存，例如在 LLaMA 7B 模型中减少 2GB 显存。#63062

• 修正了 OneDNN mean kernel 回退错误。 #64676

• 修正 conv_bias_fuse_pass 新增了若干强约束， 例如 bias 的 shape 不能为 1，从而保证 pass 推理结果稳定。 #64412

• 修正 conv_elementwise_add_onednn_fuse_pass 新增了若干强约束，例如 conv2d_out 和 residual_param 的尺寸必须一致，从而保证 pass 推理稳定。 #64448

• 修复在特定情况下，反复插入量化反量化算子的问题 #63082

适配方案 (Custom Device)¶

飞桨硬件接入本次新增了对 4 款硬件昆仑 XPU、昇腾 NPU、海光 DCU 和寒武纪 MLU 的日常发版支持，同时通过大模型训练和推理部署的打磨修复了分布式通信中存在的问题，并通过显存优化、计算和通信的 overlap 等功能进行性能优化。其次、本次各个硬件还新增了大量 BFloat16 数据类型的算子支持，以及众多算子融合 Pass 和各个硬件上的融合算子，通过软硬联合的方式接入硬件大 Transformer 算子库来充分提升大模型性能。

昆仑 XPU¶

海光 DCU¶

新增支持¶

• 支持用户安装 paddle 不依赖本地的 cuda 和 cudnn，提升用户安装体验。#60841，#61973,#61862,#61235,#61209,#61653,#64083

• 全面支持 CUDA 12.3，同时完成 cuda10.2 退场。#63356,#60299,#64171,#62189,#63392,#64228,#62498,#64298

• 全面支持 Python 3.12，带来了更强大的语言特性和性能优化，同时完成 python3.7 退场。#59875，#59877,#59876

• 其他 paddle 依赖的第三方库升级：#63741,#64447,#60195,#60110,#61509

编译优化¶

• 优化了 paddle 的 CMake 代码，显著提升了编译效率和编译体验。##59995,#60167，#61052，#59995，#59607,#63093,#63887,#62969,#64007,#59811,#63045,#60235,#60240,#60235,#61411,#61944,#61961,#59990,#59478,#61501,#60066,#64133,#64231,#60087,#60348,#60737,#61364,#63214,#62454,#62473,#63692,#63950

• 支持在 linux 和 windowx 下 C++单测链接动态库，大幅减少 C++单测的体积大小和整个 build 目录大小。#60008,#60960,#60960,#60961,#60831,#60832,#60833,#61372,#60834,#61374,#61463,#61376,#60830,#61373,#61672,#61375,#61676,#62036,#61945,#61675,#61674,#62773,#61238,#59988,#60307,#59612,#59942,#59968,#59978,#60121,#60149,#60161,#60160,#60230,#60154,#60356,#60392,#60517,#61131,#60959

• 新增对 Clang 编译器的支持，用户现在可以使用 Clang 进行编译，享受更快的编译速度和更好的报错信息提示。#63382,#63133,#61705,#63152,#63373

CI 流水线改进¶

• 对 CI 流水线中的合入代码监测机制进行了完善，确保更高的代码质量和稳定性。新增了功能监控模块，实时监控 CI 流水线的各项指标，确保每个阶段的顺利执行，及时发现和解决问题。#61384,#62190,#60758,#60399,#58623,#62177,#62361,#62893,#63705,#64476,#64752,#64733,#61914

代码清理¶

• 删除了一些老旧的代码。#63580,#62840,#62886,#63046,#63004,#63039,#62733,#62773,#62768,#62744,#62861,#62774,#62851,#62973,#63273,#62445,#64382,#64409,#64391,#64310,#64348,#64651,#64709,#61714,#62109,#61751,#61691,#61735

Bug 修复¶

• 修复多个 paddle 框架的编译问题。#63297，#62994，#62651，#64408，#60934，#62899，#60528，#63158，#64549，#62351，#61259,#61281,#62304,#60736,#60811,#63949,#59892,#60767,#60856,#61286,#61638,#62079,#62142,#62823,#62814,#62425,#62619,#60207,#60765,#61870,#61923,#62144,#62426,#63848,#60682,#61369,#62882,#63944,#64812,#60654,#60887,#62058,#64639,#60115,#61940,#62614,#59914,#63762,#60145,#60285,#60378,#60393,#61057,#61058,#61151,#61347,#61554,#61844,#62915,#61852,#61704,#61991,#62264,#62762,#63820,#63864,#65017,#61183,#59866,#61171,#61290,#61725,#61614,#61721,#61494,#61556,#61689