深度网络样本匹配注意力收敛异常问题求助（附TensorFlow代码）

问题背景 #

我在训练一个深度网络时遇到了棘手的问题：每个batch包含两组输入（S和I），需要计算单个样本Si和batch内所有I样本的匹配度。我用TensorArray实现了计算每个Si对所有I的注意力的逻辑，其中S和I通过正切函数关联（S是cos(org)，I是sin(org)）。理想情况下，每个Si应该对对应的I分配最高的注意力权重，但模型收敛后，所有Si对每个I的注意力都变成了1/batch_size，完全均匀分布，求优化思路。

代码实现 #

import tensorflow as tf
from tensorflow.python.ops import tensor_array_ops
import tensorflow.contrib.layers as layers
import numpy as np

batch_szie = 64
word_len = 16
word_emb_dim = 512
feature_dim = 512

x = tf.placeholder(dtype=tf.float32,shape =[None,1024],name="S")
sentence = tf.placeholder(dtype=tf.float32,shape =[None,1024],name="I")
# target = tf.placeholder(dtype=tf.float32,shape=[None,64],name = "target")

batch_size = tf.shape(sentence)[0]
labels = tf.eye(batch_size)

loss_array = tensor_array_ops.TensorArray(dtype=tf.float32, size=64,dynamic_size=False, infer_shape=True)
attention_array = tensor_array_ops.TensorArray(dtype=tf.float32, size=64,dynamic_size=False, infer_shape=True)

x_pre = layers.fully_connected(
    x, num_outputs=1024,
    # activation_fn=tf.nn.relu,
    scope="pre", reuse=tf.AUTO_REUSE)
sentence_tp = layers.fully_connected(
    sentence, num_outputs=1024,
    # activation_fn=tf.nn.relu,
    scope="s_pre", reuse=tf.AUTO_REUSE)

def body(i,loss_array,attention_array):
    res = tf.tile(tf.expand_dims(tf.expand_dims(x_pre[i],1),0), [batch_size,1,1])
    res = tf.matmul(tf.expand_dims(sentence_tp,1),res)
    res = tf.reshape(res, [batch_size])
    attention = tf.reduce_sum(labels[i] * tf.nn.softmax(res, 0), 0)
    tp_loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(labels=labels[i], logits=res))
    loss_array =loss_array.write(i,tp_loss)
    attention_array = attention_array.write(i,attention)
    return i+1 , loss_array , attention_array

_, loss_res,attention_res = tf.while_loop(cond=lambda i, _1,_2: i < 64, body=body, loop_vars=[tf.constant(0), loss_array,attention_array])

loss= tf.reduce_mean(loss_res.stack())
attention_all = attention_res.stack()

vars = tf.trainable_variables()
dis_optimizer = tf.train.AdamOptimizer(learning_rate=0.001, beta1=0.5, beta2=0.9)
dis_grads = tf.gradients(loss, vars)
dis_grads_and_vars = list(zip(dis_grads, vars))
for grad, var in dis_grads_and_vars:
    print("var:", var, " ", grad)

dis_train_op =dis_optimizer.apply_gradients(grads_and_vars=dis_grads_and_vars)

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    for i in range(1000000):
        org = np.random.uniform(low=0.0,high=100,size = (64,1024))
        image = np.sin(org)
        s = np.cos(org)
        feed_dict = {x:image,sentence:s}
        a,_,lr = sess.run([attention_all,dis_train_op,loss],feed_dict)
        print(lr)
        for j in range(1):
            print("attention:",a)

问题现象 #

模型收敛后，所有Si对batch内每个I的注意力权重都变成了1/64（也就是1/batch_size），完全均匀分配，完全达不到“对应样本注意力最高”的预期效果。

优化思路与建议 #

我帮你梳理几个可能的问题点和优化方向，你可以逐一尝试：

1. 用批量运算替代TensorArray循环，避免梯度传播问题 #

你现在用tf.while_loop+TensorArray逐个处理样本，不仅计算效率低，还容易出现梯度传播不顺畅的问题（比如静态形状推断错误、梯度消失）。其实可以用批量矩阵运算直接计算整个batch的注意力，完全不需要循环：

# 替换原while_loop部分的批量实现
# x_pre shape: [batch_size, 1024]
# sentence_tp shape: [batch_size, 1024]
# 计算相似度矩阵: [batch_size, batch_size]
similarity_matrix = tf.matmul(x_pre, sentence_tp, transpose_b=True)
# 对每一行做softmax，得到注意力权重矩阵
attention_weights = tf.nn.softmax(similarity_matrix, axis=1)
# 计算损失：每一行对应单位矩阵的第i行
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(labels=labels, logits=similarity_matrix))

这种方式既高效，又能保证梯度正确传播，避免循环带来的各种潜在问题。

2. 添加非线性激活函数，提升特征区分度 #

你当前的全连接层没有激活函数，只是做了线性变换，特征的区分度会极低。建议在两个全连接层后加上ReLU或者LeakyReLU激活：

x_pre = layers.fully_connected(
    x, num_outputs=1024,
    activation_fn=tf.nn.relu,  # 新增激活函数
    scope="pre", reuse=tf.AUTO_REUSE)
sentence_tp = layers.fully_connected(
    sentence, num_outputs=1024,
    activation_fn=tf.nn.relu,  # 新增激活函数
    scope="s_pre", reuse=tf.AUTO_REUSE)

线性变换无法捕捉复杂的特征关系，只有加入非线性激活，模型才能学习到Si和对应Ii之间的独特关联。

3. 调整损失函数，让注意力分布更尖锐 #

当前的交叉熵损失在特征区分度低时，很容易收敛到均匀分布（这是交叉熵的一个局部极值点）。你可以尝试：

• 添加温度系数：在softmax前除以一个小的温度值，让注意力分布更集中：

  temperature = 0.1
  similarity_matrix = tf.matmul(x_pre, sentence_tp, transpose_b=True) / temperature
  

• 引入对比损失：额外增加对比损失，拉近对应样本的相似度，推开非对应样本：

  # 对应样本的相似度（对角线元素）
  pos_sim = tf.diag_part(similarity_matrix)
  # 非对应样本的最大相似度（排除自身）
  neg_sim = tf.reduce_max(similarity_matrix - tf.eye(batch_size)*1e12, axis=1)
  # 对比损失：希望正样本相似度比负样本大一个margin
  margin = 1.0
  contrast_loss = tf.reduce_mean(tf.maximum(0.0, neg_sim - pos_sim + margin))
  # 总损失
  total_loss = loss + contrast_loss
  

4. 优化器参数调整 #

你当前用的Adam学习率是0.001，beta1=0.5，这个参数组合可能不太适配当前任务：

• 尝试降低学习率到1e-4，避免模型过快收敛到局部最优；
• 把beta1调整为0.9（Adam默认值），让一阶矩估计更稳定。

5. 增强数据的区分度 #

你用sin(org)和cos(org)作为输入，虽然理论上有关联，但周期函数的特征区分度本身有限。可以尝试给org添加少量噪声，或者换用更有区分度的生成方式，确保模型能学到对应样本的独特性。

内容的提问来源于stack exchange，提问作者li pengyi