[ torch 参数更多 ]transformers.AddedToken¶
transformers.AddedToken¶
transformers.AddedToken(content: str, single_word=False, lstrip=False, rstrip=False, special=False, normalized=None)
paddlenlp.transformers.AddedToken¶
paddlenlp.transformers.AddedToken(content: str = field(default_factory=str), single_word: bool = False， lstrip: bool = False, rstrip: bool = False, normalized: bool = True)
PyTorch 相比 Paddle 支持更多其他参数，具体如下：
参数映射¶
| transformers | PaddlePaddle | 备注 |
|---|---|---|
| content | content | 待添加的 Token 内容。 |
| single_word | single_word | token 是否视为独立的词。 |
| lstrip | lstrip | 是否移除左侧空白符。 |
| rstrip | rstrip | 是否移除左侧空白符。 |
| special | - | 是否有特殊的处理方式，Paddle 暂不支持该参数. |
| normalized | normalized | 是否进行规范化处理。 |