神经网络训练报错“No gradients provided for any variable”求助

核心原因 #

报错“No gradients provided for any variable”的本质是梯度传播路径被切断：

• 网络末尾的Lambda层使用了tf.round和tf.cast，这两个是不可微分的离散操作，梯度在该层直接中断，前面的全连接层无法获取更新梯度。
• 自定义的score_loss中，tf.sets.intersection和tf.shape属于离散集合/形状计算操作，同样没有可微分的梯度定义，无法支持反向传播。

修复方案 #

一、重构网络结构，移除不可微分操作 #

训练阶段必须让输出保持连续值，仅在推理（预测）时做离散化处理：

network = models.Sequential()
network.add(layers.Flatten(input_shape=(1500,4)))
network.add(layers.Dense(128, activation='relu'))
# 输出维度改为候选索引的总数data_size，每个神经元对应一个索引的连续得分
network.add(layers.Dense(data_size, activation='linear'))

二、选择可微分的损失函数 #

你的任务本质是Top-350索引选择任务，需用可微分损失替代离散的集合损失，以下两种方案任选：

方案1：多标签二分类损失（推荐）

将“是否选中某索引”视为二分类问题，把真实标签转为one-hot编码：

1. 转换标签格式：

import tensorflow as tf

def convert_to_one_hot(answers, data_size):
    # answers形状为(100, 350)，转换为(100, data_size)的one-hot矩阵
    one_hot = tf.zeros((len(answers), data_size), dtype=tf.float32)
    for i in range(len(answers)):
        indices = [[i, idx] for idx in answers[i]]
        one_hot = tf.tensor_scatter_nd_update(one_hot, indices, tf.ones(350))
    return one_hot

one_hot_answers = convert_to_one_hot(answers, data_size)

2. 修改网络与损失：

# 最后一层用sigmoid输出概率
network.add(layers.Dense(data_size, activation='sigmoid'))
network.compile(optimizer='adam', loss='binary_crossentropy')
network.fit(inputs, one_hot_answers, epochs=5)

方案2：Top-K对比损失

通过最大化选中索引与未选中索引的得分差实现训练：

def top_k_loss(y_true, y_pred):
    # y_true: (batch_size, 350)，真实选中的索引
    # y_pred: (batch_size, data_size)，每个索引的连续得分
    
    # 计算选中索引的得分均值
    selected_scores = tf.gather(y_pred, y_true, batch_dims=1)
    selected_mean = tf.reduce_mean(selected_scores, axis=1)
    
    # 计算未选中索引的得分均值
    mask = tf.one_hot(y_true, depth=data_size, dtype=tf.bool)
    mask = tf.logical_not(tf.reduce_any(mask, axis=1))
    unselected_scores = tf.boolean_mask(y_pred, mask, axis=1)
    unselected_mean = tf.reduce_mean(unselected_scores, axis=1)
    
    # 损失为未选中均值 - 选中均值，模型最小化该值等价于最大化选中与未选中的得分差
    return tf.reduce_mean(unselected_mean - selected_mean)

# 网络输出保持linear激活
network.compile(optimizer='adam', loss=top_k_loss)
network.fit(inputs, answers, epochs=5)

三、推理阶段的离散化 #

训练完成后，通过取Top-350得分的索引得到最终结果：

def predict_top_k(network, inputs, k=350):
    scores = network.predict(inputs)
    # 按得分降序取前k个索引
    top_indices = tf.argsort(scores, axis=1, direction='DESCENDING')[:, :k]
    return top_indices.numpy()

内容的提问来源于stack exchange，提问作者Givikap120