基于距离矩阵的自定义损失函数实现问题

首先，不能在损失函数中将符号张量转换为NumPy数组——符号张量是TensorFlow计算图的一部分，仅在执行阶段才有实际数值，转换操作会打断计算图，导致无法自动求导，进而无法用于模型训练。必须完全使用TensorFlow/Keras的张量操作实现逻辑。

针对你的需求，以下是纯张量操作的实现方式，替代原有的NumPy/Pandas遍历逻辑：

import tensorflow as tf
from tensorflow import keras

def nearest_other_neighbour(y_true, y_pred):
    # 计算y_pred与y_true的两两欧氏距离矩阵，shape: [batch_size, batch_size]
    # 假设y_true和y_pred的shape都是[batch_size, feature_dim]
    distance_matrix = tf.norm(y_pred[:, None, :] - y_true[None, :, :], axis=-1)
    
    # 获取每个样本对应的自身距离（对角线元素），shape: [batch_size]
    dist_ref_self = tf.linalg.diag_part(distance_matrix)
    
    # 创建掩码，将对角线位置设为无穷大（排除自身距离）
    mask = tf.eye(tf.shape(distance_matrix)[0], dtype=tf.bool)
    masked_distance = tf.where(mask, tf.fill(tf.shape(distance_matrix), tf.float32.max), distance_matrix)
    
    # 对每一列取最小距离（即每个真实样本到其他预测样本的最近距离），shape: [batch_size]
    dist_ref_min_other = tf.reduce_min(masked_distance, axis=0)
    
    # 计算每个样本的损失值，避免除以0（添加极小值epsilon）
    epsilon = 1e-8
    losses = dist_ref_self / (dist_ref_min_other + epsilon)
    
    # 返回损失的均值（或根据需求返回求和结果）
    return tf.reduce_mean(losses)

代码说明： #

• 距离矩阵计算：用tf.norm结合广播机制，一次性计算所有预测样本与真实样本的欧氏距离，避免循环。
• 自身距离提取：通过tf.linalg.diag_part直接获取距离矩阵的对角线元素，对应原代码中的dist_ref_self。
• 排除自身距离：用单位矩阵生成掩码，将对角线位置替换为极大值，这样在取最小值时会自动跳过自身距离。
• 数值稳定性：添加epsilon避免除以0的情况，防止训练过程中出现NaN。
• 损失聚合：返回损失的均值（Keras损失函数通常需要标量输出，若需要保留每个样本的损失，可直接返回losses）。

如果你的距离计算不是欧氏距离，可以替换tf.norm为对应的张量操作（例如余弦距离可通过tf.keras.losses.cosine_similarity实现）。

内容的提问来源于stack exchange，提问作者Whitehot