自定义Keras损失函数（最小化超阈值元素数）遇无梯度报错，如何解决？

错误根源 #

你的损失函数使用了不可微分的离散操作：

• vector[vector>5] 布尔索引属于离散选择逻辑，不存在梯度
• tf.size 计算元素个数也是离散操作，无法传递梯度

TensorFlow要求损失函数必须连续可导，才能通过反向传播更新模型参数，因此会抛出无梯度的错误。

解决思路 #

把离散的“计数超过阈值的元素”转换成连续可导的近似计算：用平滑函数（比如sigmoid）模拟“是否超过阈值”的判断逻辑，再通过求和得到近似的失败数量，这样就能正常计算梯度并完成反向传播。

修改后的代码 #

import tensorflow as tf
epsilon = 1e-6

def custom_loss(actual, predicted):
    actual = actual * 12
    predicted = predicted * 12

    # 计算原指标向量
    vector = tf.sqrt(2 * tf.square(predicted - actual + epsilon) / (predicted + actual + epsilon))

    # 用连续可导方式近似计数超过阈值的元素
    threshold = 5.0
    # 温度参数：越小越接近真实阶跃函数，需平衡平滑度与近似精度
    temperature = 0.1
    # 每个元素超过阈值的近似值（sigmoid输出0~1，接近1代表超过阈值）
    exceed_approx = tf.sigmoid((vector - threshold) / temperature)
    # 求和得到近似的失败数量（连续可导）
    fail_count = tf.reduce_sum(exceed_approx)

    return fail_count

补充说明 #

• 温度参数temperature：调小会让sigmoid更接近阶跃函数，近似效果更准，但可能导致梯度不稳定；调大则更平滑，梯度更稳定但近似偏差稍大，可根据任务需求调整。
• 也可以用tf.nn.softplus替代sigmoid，原理类似，同样能实现连续近似。
• 训练时优化这个近似损失，最终模型会朝着减少超过阈值元素数量的方向收敛。

内容的提问来源于stack exchange，提问作者keno