文档分类任务提取句子注意力权重时高权重为填充零向量问题咨询
结论
你遇到的填充位注意力得分高于真实句子的情况完全不合理,属于代码实现错误导致的问题,模型F值低是该错误的结果而非原因。
核心错误点
- 自定义注意力层的权重注册不符合TensorFlow 2.x Keras规范,注意力参数完全没有参与训练,得分是随机初始化参数计算的结果
- 未对填充位做掩码处理,零填充的句子和真实句子共同参与注意力计算
- 注意力层的掩码传递逻辑错误,即使输入层加了掩码也无法生效
具体修复方案
1. 修正注意力层的权重注册逻辑
你当前在build方法中手动创建K.variable再赋值给self.trainable_weights的写法在TF2 Keras中不生效,参数不会被加入训练更新流程,需要改为调用add_weight方法注册权重:
def build(self, input_shape): assert len(input_shape) == 3 self.W = self.add_weight( name='W', shape=(input_shape[-1], self.attention_dim), initializer=self.init, trainable=True ) self.b = self.add_weight( name='b', shape=(self.attention_dim, ), initializer=self.init, trainable=True ) self.u = self.add_weight( name='u', shape=(self.attention_dim, 1), initializer=self.init, trainable=True ) super(AttentionLayer, self).build(input_shape)
2. 输入层添加掩码屏蔽填充位
你用全零向量做句子填充,需要在输入后增加Masking层标记填充位,掩码信号会传递到后续的GRU和注意力层:
from tensorflow.keras.layers import Masking no_sentences_per_doc = 1000 sentence_embedding = 200 sequence_input = Input(shape=(no_sentences_per_doc, sentence_embedding)) # 屏蔽所有全零的句子时间步 masked_input = Masking(mask_value=0.0)(sequence_input) gru_layer = Bidirectional(GRU(50, return_sequences=True))(masked_input)
3. 修复注意力层的掩码传递逻辑
你当前的compute_mask方法直接返回None,会阻断前面传递来的掩码信号,需要修改为:
def compute_mask(self, input, input_mask=None): if self.return_coefficients: # 加权和输出不需要掩码,注意力系数输出保留掩码 return [None, input_mask] else: return None
4. 后处理兜底
提取注意力得分后,直接过滤掉索引大于等于当前文档真实句子数的结果,避免异常值干扰。
内容的提问来源于stack exchange,提问作者Felix
相关产品推荐
相关产品推荐

