BERT输出形状能否不受输入字符串长度影响保持固定？

问题根因 #

你当前的配置错误主要在padding参数的取值：

• padding=True的作用是将序列填充到当前批次内的最长序列长度，你是循环对单个样本调用分词器，每个批次仅包含1个样本，因此只会填充到该样本自身分词后的长度，不会自动填充到你指定的max_length=15。
• 你遇到的部分超长样本输出维度异常的问题，是因为未明确指定填充规则时，截断逻辑也不会强制对齐到你设置的max_length阈值。

修复方法 #

将分词器调用代码中的padding=True修改为padding='max_length'即可，修改后的代码片段如下：

inputs = tokenizer(input, padding='max_length', truncation=True, max_length = 15, return_tensors="pt")

修改后所有样本的last_hidden_state输出维度都会固定为torch.Size([1, 15, 768])，符合你的需求。

优化建议 #

如果需要批量处理样本，不要循环单个调用分词器，直接把完整的样本列表传给分词器，处理效率会高很多，示例如下：

inputs = ["a", "a"*20, "a"*100, "abcede"*20000]
tokenized_inputs = tokenizer(inputs, padding='max_length', truncation=True, max_length=15, return_tensors="pt")
outputs = model(**tokenized_inputs)
# 输出维度为torch.Size([4, 15, 768])，4个样本维度完全统一

内容的提问来源于stack exchange，提问作者0x90