如何缩放sparse_softmax_cross_entropy_with_logits的梯度？遇IndexedSlices错误

你遇到的问题核心在于：计算梯度时部分变量的梯度是IndexedSlices类型而非普通Tensor，这种类型专门用于存储稀疏梯度（比如Embedding层的梯度），直接用/运算符做除法是不支持的。我们需要针对不同梯度类型分别处理：

修正后的代码示例 #

loss = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=labels)
gradients = opt.compute_gradients(loss)

# 处理梯度缩放，兼容Tensor和IndexedSlices两种类型
new_gradients = []
for grad, var in gradients:
    if grad is not None:
        if isinstance(grad, tf.IndexedSlices):
            # 对IndexedSlices的非零梯度值部分做缩放，保留索引和原始形状信息
            scaled_grad = tf.IndexedSlices(grad.values / 128, grad.indices, grad.dense_shape)
        else:
            # 普通Tensor直接执行除法缩放
            scaled_grad = grad / 128
        new_gradients.append((scaled_grad, var))

train_step = opt.apply_gradients(new_gradients)

额外补充说明 #

• IndexedSlices是TensorFlow为稀疏梯度设计的高效存储结构，它包含三个核心属性：values（非零梯度值集合）、indices（对应变量的索引位置）、dense_shape（原始变量的完整形状），我们只需要对values做缩放操作即可。
• 加入grad is not None的判断是为了兼容某些无梯度的变量（比如被冻结的层），避免触发空值报错。
• 你也可以用更简洁的列表推导式实现：

new_gradients = [
    (tf.IndexedSlices(g.values/128, g.indices, g.dense_shape) if isinstance(g, tf.IndexedSlices) else g/128, v)
    for g, v in gradients if g is not None
]

内容的提问来源于stack exchange，提问作者Mostofa Patwary