\u200E

[ 暂未分类 ]transformers.PreTrainedTokenizer

transformers.PreTrainedTokenizer 

          transformers.PreTrainedTokenizer(**kwargs)

         

paddlenlp.transformers.PretrainedTokenizer 

          paddlenlp.transformers.PretrainedTokenizer(**kwargs)

         

功能一致，参数完全一致，具体如下：