TensorFlow Addons半难三元组损失的实际行为与FaceNet论文不符？

我原本以为TensorFlow Addons实现了《FaceNet: A Unified Embedding for Face Recognition and Clustering》论文中的半难三元组损失，但实际对比后发现这个理解并不准确：

• 论文中会使用批次内所有半难三元组
• 但TensorFlow Addons的实现仅为每个锚-正样本对选取最难的半难负样本（即与锚点距离最近但仍远于正样本的负样本，代码注释称其为negatives_outside）；如果找不到半难负样本，就选取与锚点距离最远的最易负样本（negatives_inside）来组成三元组。

想请教：

1. 这种实现的依据是什么？
2. 我对论文的理解是否存在偏差？

为了确认对TensorFlow Addons版本的理解，我用纯Python重写了该函数（相比TensorFlow的张量代数实现更直观）：

import numpy as np

def _pairwiseDistances(embeddings, squared=False):
    D = np.zeros((embeddings.shape[0], embeddings.shape[0]), dtype=np.float32)
    for k in range(embeddings.shape[0]):
        for s in range(k+1, embeddings.shape[0]):
            d = embeddings[k,:] - embeddings[s,:]
            d = np.sum(d*d)
            D[k,s] = d
            D[s,k] = d

    if not squared:
        D = np.sqrt(D)

    return D

def semiHardTripletLoss(labels, embeddings, alpha=1., normalized=True, squared=True):
    N = embeddings.shape[0]
    distances = _pairwiseDistances(embeddings, squared) # 计算两两距离矩阵

    L = 0.
    count = 0
    for a in range(N): # 让批次中每个特征都作为锚点
        for p in range(N): # 遍历锚点的所有正样本候选
            if a == p: 
                continue # 正样本不能和锚点是同一个样本
            if labels[a] != labels[p]:
                continue # 正样本必须和锚点标签相同
            Min = 1.e10
            Max = 1.e-10
            n0 = -1
            for n in range(N): # 寻找符合条件的负样本
                if labels[a] == labels[n]:
                    continue

                if distances[a,n] > Max:
                    Max = distances[a,n] # 记录最远的易负样本，用于无半难样本时的 fallback

                if distances[a,p] >= distances[a,n] or distances[a,n] >= distances[a,p] + alpha:
                    continue # 筛选出半难负样本：d(anchor,positive) < d(anchor,negative) < d(anchor,positive)+alpha

                if distances[a,n] < Min:
                    n0 = n
                    Min = distances[a,n] # 找到最难的半难负样本（距离锚点最近的半难样本）

            if n0 == -1: # 未找到半难负样本
                l = np.maximum(distances[a,p] - Max + alpha, 0)
            else: # 使用找到的最难半难负样本
                l = np.maximum(distances[a,p] - distances[a,n0] + alpha, 0)
            L += l
            count += 1
            
    if normalized and count > 0:
        L /= count

    return L

我用随机生成的特征和标签，将重写的函数与原版对比，多次调整batchSize、nFeatures和nSubjects参数，结果差异极小，示例代码如下：

import tensorflow as tf
import semiHardTripletLossNumpy as tln # 导入上面重写的函数
import numpy as np
import tensorflow_addons as tfa

tf.config.set_visible_devices([], 'GPU') # 禁用GPU加速

batchSize = 20
nFeatures = 11
nSubjects = 7

Embedding = tf.Variable(np.random.rand(batchSize, nFeatures), dtype=tf.float32)
Embedding = tf.math.l2_normalize(Embedding, axis=1)
Label = tf.constant(np.random.randint(low=0, high=nSubjects, size=batchSize), dtype=tf.float32)

result1 = tfa.losses.triplet_semihard_loss(Label.numpy(), Embedding.numpy(), distance_metric='squared-L2')
result2 = tln.semiHardTripletLoss(Label, Embedding)
print(result1.numpy(), '-', result2, '=', result1.numpy()-result2)

输出示例：

0.96045184 - 0.9604518755718514 = -3.421748129284197e-08

1. 你对论文的理解没有偏差 #

FaceNet论文中明确提到，半难三元组损失会利用批次内所有满足条件的半难三元组，即对于每个锚-正对，只要负样本满足d(a,p) < d(a,n) < d(a,p)+α，就会被纳入损失计算。

2. TensorFlow Addons实现的依据 #

这种“选最难半难负样本”的实现，本质是**难样本挖掘（Hard Negative Mining）**的一种变体，核心目的是：

• 提升训练效率：如果使用所有半难三元组，当批次较大时计算量会显著增加，而只选最难的那个，能在保证损失梯度有效性的前提下减少计算开销。
• 强化训练信号：最难的半难负样本是最容易让模型混淆的样本，针对这类样本优化，能更快推动模型学习到更具区分度的特征表示。
• 避免梯度稀释：如果同时使用大量半难样本，其中较易的样本会稀释难样本带来的梯度信号，导致模型收敛变慢。

另外，当找不到半难样本时选用最远的易负样本，是为了避免训练停滞——此时至少能保证损失函数产生有效的梯度，维持模型的更新方向。

这种实现是工程上的合理取舍：在论文的理论基础上，兼顾了训练效率和实际效果，很多主流的人脸识别框架在实现三元组损失时也会采用类似的难样本挖掘策略。

内容的提问来源于stack exchange，提问作者Wonderer