Multi-Head Self-Attention情感分析模型结果存疑：注意力热力图同质化求助

我正在实现一个基于自注意力的文本情感分析模型，采用Multi-Head Attention结构，但所有测试示例的注意力热力图几乎完全一致，无法确认模型结果的准确性。

注意力热力图情况：所有输入样本对应的注意力权重分布高度相似，不同文本序列的热力图几乎无差异。

相关实现代码如下：

import tensorflow as tf
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Dense, MultiHeadAttention, Input, LayerNormalization, GlobalAveragePooling1D, Embedding, LSTM, Dropout, EarlyStopping

# 定义参数
num_heads = 8         # 注意力头数量
dropout_rate = 0.5
lstm_units = 64
attention_dim = 128
learning_rate = 0.0001
maxlen = 20 # 序列长度
embedding_dim = 200  # 词嵌入维度
vocab_size = len(tokenizer.word_index) + 1

# 构建模型
inputs = Input(shape=(maxlen,))
embedding_layer = Embedding(input_dim=vocab_size, output_dim=embedding_dim, weights=[embedding_matrix], input_length=maxlen, trainable=False)(inputs)
lstm_layer = LSTM(lstm_units, return_sequences=True)(embedding_layer)
dropout_layer = Dropout(dropout_rate)(lstm_layer)

# 添加多头注意力层
attention_layer = MultiHeadAttention(num_heads=8, key_dim=attention_dim)
attention_output, attention_weights = attention_layer(query=dropout_layer, value=dropout_layer, key=dropout_layer, return_attention_scores=True)

# 归一化注意力层输出
attention_output = LayerNormalization(epsilon=1e-6)(attention_output)

# 全局平均池化
pooled_output = GlobalAveragePooling1D()(attention_output)

# 全连接层
dense_output = Dense(units=32, activation='relu')(pooled_output)
output_layer = Dense(1, activation='sigmoid')(dense_output)

# 创建模型
model = Model(inputs=inputs, outputs=output_layer)

# 学习率调度
def lr_schedule(epoch, lr):
    if epoch % 5 == 0 and epoch > 0:
        return lr / 10
    return lr

# 编译模型
optimizer = tf.keras.optimizers.Adam(learning_rate=learning_rate)
model.compile(optimizer=optimizer, loss='binary_crossentropy', metrics=['accuracy'])

# 训练模型
early_stopping = EarlyStopping(monitor='val_loss', patience=5, restore_best_weights=True)
history = model.fit(X_train, y_train, epochs=10, batch_size=128, validation_data=(X_val, y_val), callbacks=[early_stopping])

# 评估模型
results = model.evaluate(X_test, y_test)
print(f"Test Loss: {results[0]}, Test Accuracy: {results[1]}")

注意力热力图同质化意味着注意力层未学到任务相关的序列依赖关系，以下是核心问题点及修复方案：

1. 注意力维度与输入维度不匹配 #

当前LSTM输出维度为64，但多头注意力的key_dim=128，远大于输入特征维度。这种不匹配会导致注意力层无法有效捕捉序列信息，容易生成同质化权重。

• 修复：将attention_dim调整为64（与LSTM输出维度匹配），或把LSTM单元数提升至128，确保输入特征维度与key_dim兼容。

2. 预训练词嵌入不可训练限制特征学习 #

词嵌入层设置为trainable=False，若预训练嵌入与当前情感分析任务领域差异较大，模型无法微调嵌入适配任务，后续层难以学到有效特征。

• 修复：设置trainable=True允许微调词嵌入，或先冻结训练3-5个epoch后再解冻。

3. 学习率策略不合理 #

初始学习率0.0001偏低，且每5个epoch就除以10的调度策略过于激进，导致模型参数更新停滞，注意力层无法学到有效模式。

• 修复：
  • 将初始学习率提升至0.001（Adam优化器常用初始值）；
  • 替换手动调度为ReduceLROnPlateau回调，仅在验证损失停滞时降低学习率：

    from tensorflow.keras.callbacks import ReduceLROnPlateau
    reduce_lr = ReduceLROnPlateau(monitor='val_loss', factor=0.1, patience=3, min_lr=1e-6)
    

4. 缺少残差连接 #

Transformer架构中，注意力层后需添加残差连接（输入与注意力输出相加）再做层归一化，当前仅做归一化会导致梯度消失或特征退化。

• 修复：添加残差连接：

  # 修改注意力层后的处理逻辑
  attention_output = attention_layer(query=dropout_layer, value=dropout_layer, key=dropout_layer, return_attention_scores=True)[0]
  # 残差连接
  attention_output = tf.keras.layers.Add()([dropout_layer, attention_output])
  attention_output = LayerNormalization(epsilon=1e-6)(attention_output)
  

5. 训练epoch数不足 #

当前最多训练10个epoch，结合early stopping的patience=5，模型可能未充分收敛就停止训练，注意力层参数未得到有效更新。

• 修复：将epoch数提升至30-50，给模型足够时间学习注意力模式。

6. 验证注意力权重提取逻辑 #

确保提取注意力权重的方式正确，可构建子模型直接输出权重验证：

attention_model = Model(inputs=model.input, outputs=attention_layer.attention_scores)
sample_weights = attention_model.predict(X_test[:1])
# 检查输出形状应为 (batch_size, num_heads, seq_len, seq_len)
print(sample_weights.shape)

内容的提问来源于stack exchange，提问作者phd Mom