使用Transformers的Tapas Tokenizer设truncation=True仍遇截断警告

在Transformers 4.15.0版本中使用Tapas Tokenizer出现该警告，核心原因有两点：

• 版本参数处理缺陷：这个版本的Tapas Tokenizer针对表格+查询的特殊分词逻辑，存在参数识别bug——用户传入的truncation=True没有被内部流程正确识别，依然判定截断未被显式激活，因此触发警告。

• 参数格式要求限制：该版本的Tapas Tokenizer不支持直接传入布尔值True作为truncation参数，需要显式指定具体截断策略（如"longest_first"）。尽管警告提示默认使用longest_first，但旧版本实现要求必须传递策略字符串，才会被判定为已激活截断。

你可以尝试修改代码验证：

tokenizer = AutoTokenizer.from_pretrained("google/tapas-base")
item = tokenizer(table = table, queries = queries, max_length = 256, truncation="longest_first")

内容的提问来源于stack exchange，提问作者lanfu