关于transformers分词器溢出token提示及代码是否需修改的咨询

关于提示的性质 #

请注意，您选择的设置（即采用'longest_first'截断策略的序列对）不会返回溢出的tokens。因此即使有部分token被移除，返回的列表仍始终为空。

这是一条警告信息，不是错误。它只是在告知你当前使用的longest_first截断策略的行为特点：处理premise和hypothesis这类序列对时，该策略会优先截断较长的序列，直到整体长度符合max_length限制，但它不会生成overflowing_tokens字段来返回被截断的token——哪怕确实有token被截断，这个字段也会是空列表。这不属于功能异常，只是策略本身的设计逻辑。

关于代码是否需要修改 #

你的代码里并没有用到overflowing_tokens这个返回值，当前的tokenizer调用逻辑（padding=True, truncation=True, max_length=128）已经能正常完成序列的截断和填充，保证输入符合BERT的要求，后续的模型推理、准确率计算也能正常运行。所以完全不需要修改现有代码。

内容的提问来源于stack exchange，提问作者j35t3r