使用PyTorch nn.TransformerEncoder传入src_key_padding_mask触发维度断言错误
问题根因拆解
你遇到的断言报错本质是维度顺序的认知错位,核心诱因有两个:
nn.TransformerEncoder类初始化时的batch_first参数默认值为False:如果初始化时不显式传入batch_first=True,模块内部会把输入张量的维度顺序解读为(seq_len, batch_size, emb_dim),而非你默认以为的(batch_size, seq_len, emb_dim)。- 结合你的代码场景:你标注的输入张量形状为
(200, 28, 200),模块内部会将这三个维度依次解读为序列长度200、批次大小28、嵌入维度200,计算出的内部bsz变量值为28;但你构造的mask第一维是200(你认知里的批次大小),二者数值不相等,自然触发key_padding_mask.size(0) == bsz的断言失败。
附带的代码逻辑偏差
你的mask构造流程存在语义和形状的双重问题:
- 构造padding mask的依据应该是二维的原始token id张量(也就是embedding层的输入,形状为
(batch_size, seq_len)),而不是经过embedding、位置编码后的三维嵌入张量。如果在三维张量上判断0值再reshape,会把嵌入向量中值为0的维度误判为padding位置,mask语义完全错误。 - 代码里的形状注释存在错位:如果x是用于构造embedding的token id,应该是二维格式,不应该带有嵌入维度;你把后续经过嵌入层之后的三维张量形状,错误标注为forward输入x的形状,才会出现注释里mask尺寸(200,20)和标注的序列长度28不匹配、reshape时元素数不对齐的隐藏问题。
正确修复方案
两种适配逻辑二选一,不要混用:
- 方案一:匹配你习惯的
(batch_size, seq_len, emb_dim)输入格式
初始化TransformerEncoder、TransformerEncoderLayer时,必须显式设置batch_first=True。此时模块内部会正确把输入第一维识别为批次大小,计算出的bsz与mask第一维完全对齐,不会触发断言。构造mask时直接基于二维token id判断0值即可,不需要额外reshape。 - 方案二:适配模块默认的维度顺序
保持batch_first=False的默认设置,在完成embedding、位置编码计算后,将输入张量的维度从(batch_size, seq_len, emb_dim)通过x = x.permute(1, 0, 2)调整为模块要求的(seq_len, batch_size, emb_dim)格式,此时内部计算的bsz值与mask第一维匹配,断言校验可以通过。
内容的提问来源于stack exchange,提问作者Theodor Peifer
相关产品推荐
相关产品推荐

