\u200E

[参数完全一致]transformers.PreTrainedTokenizer¶

transformers.PreTrainedTokenizer ¶

          transformers.PreTrainedTokenizer(**kwargs)

         

paddlenlp.transformers.PretrainedTokenizer ¶

          paddlenlp.transformers.PretrainedTokenizer(**kwargs)

         

功能一致，参数完全一致，具体如下：

参数映射¶

transformers	PaddlePaddle	备注
kwargs	kwargs	预训练分词器的输入，具体用法尚未分析。