You need to enable JavaScript to run this app. 使用PyTorch nn.TransformerEncoder传入src_key_padding_mask触发维度断言错误
优惠活动
大模型
产品
解决方案
定价
更多

使用PyTorch nn.TransformerEncoder传入src_key_padding_mask触发维度断言错误

问题根因拆解

你遇到的断言报错本质是维度顺序的认知错位,核心诱因有两个:

  • nn.TransformerEncoder 类初始化时的 batch_first 参数默认值为 False:如果初始化时不显式传入 batch_first=True,模块内部会把输入张量的维度顺序解读为 (seq_len, batch_size, emb_dim),而非你默认以为的 (batch_size, seq_len, emb_dim)。
  • 结合你的代码场景:你标注的输入张量形状为 (200, 28, 200),模块内部会将这三个维度依次解读为序列长度200、批次大小28、嵌入维度200,计算出的内部bsz变量值为28;但你构造的mask第一维是200(你认知里的批次大小),二者数值不相等,自然触发key_padding_mask.size(0) == bsz的断言失败。
附带的代码逻辑偏差

你的mask构造流程存在语义和形状的双重问题:

  • 构造padding mask的依据应该是二维的原始token id张量(也就是embedding层的输入,形状为(batch_size, seq_len)),而不是经过embedding、位置编码后的三维嵌入张量。如果在三维张量上判断0值再reshape,会把嵌入向量中值为0的维度误判为padding位置,mask语义完全错误。
  • 代码里的形状注释存在错位:如果x是用于构造embedding的token id,应该是二维格式,不应该带有嵌入维度;你把后续经过嵌入层之后的三维张量形状,错误标注为forward输入x的形状,才会出现注释里mask尺寸(200,20)和标注的序列长度28不匹配、reshape时元素数不对齐的隐藏问题。
正确修复方案

两种适配逻辑二选一,不要混用:

  • 方案一:匹配你习惯的(batch_size, seq_len, emb_dim)输入格式
    初始化TransformerEncoder、TransformerEncoderLayer时,必须显式设置batch_first=True。此时模块内部会正确把输入第一维识别为批次大小,计算出的bsz与mask第一维完全对齐,不会触发断言。构造mask时直接基于二维token id判断0值即可,不需要额外reshape。
  • 方案二:适配模块默认的维度顺序
    保持batch_first=False的默认设置,在完成embedding、位置编码计算后,将输入张量的维度从(batch_size, seq_len, emb_dim) 通过x = x.permute(1, 0, 2) 调整为模块要求的(seq_len, batch_size, emb_dim)格式,此时内部计算的bsz值与mask第一维匹配,断言校验可以通过。

内容的提问来源于stack exchange,提问作者Theodor Peifer

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.12 07:06:05