BERT推理是否需设置padding参数？无padding运行成功原因解析

• BERT天生支持变长输入：它的Transformer核心架构基于自注意力机制，本来就可以处理任意长度的序列（只要不超过预训练时设定的上限，比如BERT-base是512）。训练阶段设置padding纯粹是为了批量处理效率——把长短不一的句子拼成统一形状的张量，方便GPU并行计算提速。但推理时如果是单条输入，或者逐条处理文本，模型完全能直接接纳不同长度的序列，不会因为长度不一致报错。

• Tokenizer的单条处理逻辑：推理时如果处理的是单条文本，哪怕没设置padding参数，tokenizer也只会生成对应长度的input_ids、attention_mask等张量，这些输出完全符合模型的输入要求。只有当你批量处理多条不同长度的文本却不设置padding时，才会因为无法拼成统一形状的张量报错；但如果推理是逐条执行，或者批量内的文本长度刚好一致，自然不会有问题。

• Attention Mask的兜底作用：就算偶尔在推理时不小心混入不同长度的输入，模型的attention_mask参数也会明确告知模型哪些位置是真实token，哪些是padding（如果存在的话）。如果没有padding，attention_mask会全为1，模型就会处理所有输入token，完全不影响运行。而且少了对padding token的无意义计算，这也是你发现推理耗时减少的核心原因。

• 训练与推理的目标差异：训练追求批量计算效率，必须统一输入形状；推理更看重灵活度和速度，变长输入反而能省去padding token的无效计算，自然会提升运行速度。

内容的提问来源于stack exchange，提问作者Projeet Ghosh