TensorFlow自定义Top11%预测的真阳性指标问题求助

我用TensorFlow全连接层做二分类任务，输出用sigmoid得到概率值。现在需要自定义一个指标，只关注Top11%的高置信度预测结果——把输出概率最高的前11%样本视为正预测，其余视为负预测，然后计算对应的真阳性精度（即这些正预测里实际是正样本的比例）。

希望指标函数能直接用于模型编译：

def customMetric(y_true, y_pred):
    # 实现逻辑

model.compile(optimizer='adam', loss='binary_crossentropy', metrics=[customMetric])

测试阶段我用下面的代码实现过这个逻辑，但放到训练时的自定义指标里就出错：

y_pred = model.predict(X_test)
y_sorted = sorted(y_pred, reverse=True)
threshold = y_sorted[math.floor(len(y_sorted) * 0.11)]
print(classification_report(y_test, [v >= threshold for v in y_pred], output_dict=False))

尝试过多种方法都失败：

• 用tf.nn.top_k(y_pred, k=k)（k是预先计算的样本数）
• 直接对张量排序、转numpy数组排序，但频繁遇到浮点转换、张量形状获取错误

最新尝试的代码没报错，但始终返回None：

def customMetric(y_true, y_pred):
    # Sort the predicted values in descending order
    sorted_indices = tf.argsort(y_pred, direction='DESCENDING')

    # Calculate the number of elements to consider as true
    num_true = tf.cast(tf.math.ceil(0.11 * tf.cast(tf.shape(y_pred)[0], tf.float32)), tf.int32)

    # Get the top 'num_true' indices
    top_indices = tf.cast(sorted_indices[:num_true], tf.float32)
    
    # Create a tensor of ones for the true labels
    true_labels = tf.ones_like(y_true)
    
    # Set the elements at top indices to 1, and the rest to 0
    top_indices = tf.cast(top_indices, dtype=tf.int32)
    true_labels = tf.cast(true_labels, dtype=tf.float32)
    top_indices = tf.reshape(top_indices, (-1, 1))
    true_labels = tf.tensor_scatter_nd_update(true_labels, top_indices, tf.ones_like(top_indices, dtype=tf.float32))

    # Calculate true positive accuracy
    true_positive = K.sum(K.round(y_true * true_labels))
    true_positive_accuracy = true_positive / K.sum(K.round(K.clip(y_true, 0, 1)))

    return true_positive_accuracy

问题分析与正确实现 #

你之前的代码有几个关键错误：

1. true_labels初始化为全1，后续又把Top11%位置设为1，等于没有做有效标记——应该初始化为全0，再把Top11%的位置标记为1（代表正预测）
2. tensor_scatter_nd_update的索引处理有误，且该操作在Graph模式下容易出现兼容性问题
3. 分母计算未处理除零情况（当batch中没有正样本时会产生NaN）

下面是完全兼容TensorFlow Graph模式的正确实现，逻辑和你测试阶段的代码完全一致：

import tensorflow as tf
from tensorflow.keras import backend as K

def custom_top11_tp_precision(y_true, y_pred):
    # 获取当前batch的样本数
    batch_size = tf.shape(y_pred)[0]
    # 计算Top11%的样本数量（向下取整，与测试代码逻辑对齐）
    k = tf.cast(tf.math.floor(0.11 * tf.cast(batch_size, tf.float32)), tf.int32)
    # 处理batch过小导致k为0的边界情况
    k = tf.maximum(k, 1)
    
    # 获取Top k个预测值的索引
    _, top_indices = tf.nn.top_k(y_pred, k=k)
    
    # 创建全0张量，将Top k的位置标记为1（视为正预测）
    pred_positive = tf.zeros_like(y_pred, dtype=tf.float32)
    pred_positive = tf.tensor_scatter_nd_update(
        pred_positive,
        tf.expand_dims(top_indices, axis=1),  # 索引需为二维格式（shape [k,1]）
        tf.ones(k, dtype=tf.float32)
    )
    
    # 计算真阳性：预测为正且实际为正的样本数
    true_positive = K.sum(y_true * pred_positive)
    # 计算预测为正的样本总数
    predicted_positive = K.sum(pred_positive)
    
    # 计算精度，添加epsilon避免除零错误
    precision = true_positive / (predicted_positive + K.epsilon())
    
    return precision

关键细节说明 #

• 用tf.nn.top_k直接获取Top k索引，比argsort更高效
• 处理了batch过小导致k为0的边界情况，避免逻辑错误
• 用K.epsilon()解决除零问题，保证数值稳定性
• 全部使用TensorFlow原生张量操作，完全兼容训练时的Graph模式

使用方式 #

直接将指标传入模型编译：

model.compile(optimizer='adam', loss='binary_crossentropy', metrics=[custom_top11_tp_precision])

内容的提问来源于stack exchange，提问作者SomeOne768