You need to enable JavaScript to run this app. 文档分类任务提取句子注意力权重时高权重为填充零向量问题咨询
优惠活动
大模型
产品
解决方案
定价
更多

文档分类任务提取句子注意力权重时高权重为填充零向量问题咨询

结论

你遇到的填充位注意力得分高于真实句子的情况完全不合理,属于代码实现错误导致的问题,模型F值低是该错误的结果而非原因。

核心错误点

  • 自定义注意力层的权重注册不符合TensorFlow 2.x Keras规范,注意力参数完全没有参与训练,得分是随机初始化参数计算的结果
  • 未对填充位做掩码处理,零填充的句子和真实句子共同参与注意力计算
  • 注意力层的掩码传递逻辑错误,即使输入层加了掩码也无法生效

具体修复方案

1. 修正注意力层的权重注册逻辑

你当前在build方法中手动创建K.variable再赋值给self.trainable_weights的写法在TF2 Keras中不生效,参数不会被加入训练更新流程,需要改为调用add_weight方法注册权重:

def build(self, input_shape):
    assert len(input_shape) == 3
    self.W = self.add_weight(
        name='W', 
        shape=(input_shape[-1], self.attention_dim), 
        initializer=self.init, 
        trainable=True
    )
    self.b = self.add_weight(
        name='b', 
        shape=(self.attention_dim, ), 
        initializer=self.init, 
        trainable=True
    )
    self.u = self.add_weight(
        name='u', 
        shape=(self.attention_dim, 1), 
        initializer=self.init, 
        trainable=True
    )
    super(AttentionLayer, self).build(input_shape)

2. 输入层添加掩码屏蔽填充位

你用全零向量做句子填充,需要在输入后增加Masking层标记填充位,掩码信号会传递到后续的GRU和注意力层:

from tensorflow.keras.layers import Masking
no_sentences_per_doc = 1000
sentence_embedding = 200
sequence_input  = Input(shape=(no_sentences_per_doc, sentence_embedding))
# 屏蔽所有全零的句子时间步
masked_input = Masking(mask_value=0.0)(sequence_input)
gru_layer = Bidirectional(GRU(50, return_sequences=True))(masked_input)

3. 修复注意力层的掩码传递逻辑

你当前的compute_mask方法直接返回None,会阻断前面传递来的掩码信号,需要修改为:

def compute_mask(self, input, input_mask=None):
    if self.return_coefficients:
        # 加权和输出不需要掩码,注意力系数输出保留掩码
        return [None, input_mask]
    else:
        return None

4. 后处理兜底

提取注意力得分后,直接过滤掉索引大于等于当前文档真实句子数的结果,避免异常值干扰。

内容的提问来源于stack exchange,提问作者Felix

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.20 15:24:04