Huggingface Tokenizer设置pre_tokenizer属性遇PyCharm警告求助

我使用Huggingface Transformers开发过聊天机器人、推文生成器等应用，现在想深入自定义Pipeline步骤，于是研究Tokenizer类。按照官方教程尝试自定义训练Tokenizer时，编写了以下代码：

from tokenizers.pre_tokenizers import Whitespace
from tokenizers import Tokenizer
from tokenizers.models import BPE

tokenizer = Tokenizer(BPE(unk_token="[UNK]"))
tokenizer.pre_tokenizer = Whitespace()

在JetBrains PyCharm社区版中，代码收到警告：“Property 'pre_tokenizer' cannot be set”，设置tokenizer.normalizer时也出现类似警告，但脚本实际运行正常。不确定操作是否有误，希望得到解决办法。

这是PyCharm静态代码分析的误判，并非你的代码存在错误。

Huggingface的tokenizers库底层由Rust开发，通过FFI绑定到Python层，Python类的属性没有按照标准Python的setter方法定义，导致PyCharm无法识别这些属性的可写性，从而抛出警告。

你可以通过以下方式处理：

• 直接忽略警告：代码实际运行逻辑正常，这只是IDE的类型提示问题
• 添加注释跳过检查：在赋值代码上方添加# noinspection PyPropertyAccess，让PyCharm跳过该属性的访问检查
• 更新tokenizers库到最新版本：后续版本可能完善了Python类型提示，修复该误报问题
• 无需刻意替换赋值方式：直接赋值pre_tokenizer/normalizer是官方教程推荐的操作，完全合法

内容的提问来源于stack exchange，提问作者ABFovox