Keras训练VGG16模型使用自定义损失函数报错如何解决

你遇到的两类报错核心原因一致：TensorFlow训练时默认以计算图模式执行，自定义损失函数接收的y_true、y_pred都是符号式Tensor，不能直接传入numpy、scipy的函数执行，所有损失内的运算必须适配TensorFlow的计算图规则。

1. 负对数似然损失（nll）报错解决 #

你的原始实现使用了scipy.special.xlogy，scipy函数无法接收TensorFlow张量作为输入，且当前写法仅支持二分类场景，你是多分类one-hot标签，需要对应调整：

修改后代码 #

import tensorflow as tf

def nll(y_true, y_pred):
    # 用TensorFlow原生xlogy替换scipy实现
    # 多分类one-hot场景直接对真实类别对应的预测值取对数似然即可，不需要算1-y_true的部分
    loss = -tf.reduce_sum(tf.math.xlogy(y_true, y_pred), axis=-1)
    # 如果是二分类场景保留原来的逻辑，替换API即可：
    # loss = -tf.math.xlogy(y_true, y_pred) - tf.math.xlogy(1-y_true, 1-y_pred)
    return loss

修改后直接编译即可，不会再报Tensor转numpy的错误。

2. 柯西-施瓦茨散度损失（cs_divergence）报错解决 #

两个报错点分别对应：

• TypeError: 'NoneType' object cannot be interpreted as an integer：图构建阶段输入Tensor的batch维度是动态的，p1.shape[0]取到的值为None，传入range()触发报错
• 隐式的Scipy兼容性问题：scipy.stats.gaussian_kde完全不支持接收TensorFlow张量作为输入

解决方案 #

如果你需要保留scipy的高斯核密度计算逻辑，用tf.py_function将整个Python逻辑包裹为TensorFlow可识别的计算节点，示例如下：

import tensorflow as tf
from math import sqrt
from math import log
from scipy.stats import gaussian_kde
from scipy import special

def cs_divergence_wrapper(p1, p2):
    # 先将Tensor转为numpy数组，才能传给scipy函数
    p1_np = p1.numpy()
    p2_np = p2.numpy()
    r = range(0, p1_np.shape[0])
    p1_kernel = gaussian_kde(p1_np)
    p2_kernel = gaussian_kde(p2_np)
    p1_computed = p1_kernel(r)
    p2_computed = p2_kernel(r)
    numerator = sum(p1_computed * p2_computed)
    denominator = sqrt(sum(p1_computed ** 2) * sum(p2_computed**2))
    return -log(numerator/denominator)

def cs_divergence(p1, p2):
    # 用tf.py_function包裹Python原生逻辑，指定输入输出类型
    loss = tf.py_function(func=cs_divergence_wrapper, inp=[p1, p2], Tout=tf.float32)
    loss.set_shape(()) # 指定输出标量的shape
    return loss

注意：tf.py_function包裹的逻辑无法自动求导，如果你需要该损失参与梯度更新，需要自行实现梯度逻辑并用tf.custom_gradient修饰，或者完全用TensorFlow原生API重写高斯核密度估计的逻辑。

通用排查规则 #

所有TensorFlow自定义损失开发都遵循以下规则可避免同类报错：

• 所有运算优先使用tf.*命名空间下的原生API，避免使用numpy、scipy、Python原生math库的操作
• 取动态Tensor的维度时，使用tf.shape(tensor)[idx]代替tensor.shape[idx]，前者可以拿到运行时的动态维度值
• 确实无法用TensorFlow原生API实现的逻辑，用tf.py_function包裹，同时手动处理梯度传递

内容的提问来源于stack exchange，提问作者shiva