如何构造可同时最大化f1、f2、f3两两差值的损失函数？

注意：如果直接对f1-f2、f2-f3、f1-f3做线性加和求最大值，会出现目标冲突：最大化f1-f2要求f2取值尽可能小，最大化f2-f3要求f2取值尽可能大，两个目标对f2的梯度大小相等方向相反，直接加和会导致f2的梯度完全抵消，最终退化为仅最大化f1-f3的单目标优化，完全丢失对f2的约束。

你需要根据自身任务是否固定三个函数的大小顺序，选择对应的构造方式：

场景1：需固定顺序f1 > f2 > f3，同时最大化两两间隔 #

这个场景下推荐用极大极小间隔损失，核心思路是优先把三个差值里最小的那个往大了推，动态平衡f2的位置，避免梯度抵消，同时保证所有间隔都被持续拉大：

import torch
# γ为可学习的全局间隔参数，初始设为0
gamma = torch.nn.Parameter(torch.tensor(0.0))
lambda_ = 1.0  # 间隔惩罚系数，默认取1即可
# 三个差值项
diff1 = f1 - f2
diff2 = f2 - f3
diff3 = f1 - f3
# 损失计算
loss = -gamma + lambda_ * (
    torch.relu(gamma - diff1) + 
    torch.relu(gamma - diff2) + 
    torch.relu(gamma - diff3)
)

如果不需要持续最大化间隔，只需要保证三个差值都大于设定的固定阈值（比如分类任务的类间margin），可以直接用简化的合页损失，去掉可学习的γ即可：

margin = 1.0  # 任务自定义的最小间隔
loss = torch.relu(margin - (f1 - f2)) + torch.relu(margin - (f2 - f3)) + torch.relu(margin - (f1 - f3))

如果需要给不同差值分配优先级，可以给三个间隔项乘不同的正权重，注意相邻间隔的权重不要相等，避免f2梯度抵消。

场景2：不固定大小顺序，仅需三个函数输出尽可能两两分散 #

这个场景下不需要约束谁大谁小，只需要任意两个输出的差值尽可能大，直接用两两差的平方和构造即可，不会出现梯度抵消问题：

loss = -( (f1 - f2)**2 + (f2 - f3)**2 + (f1 - f3)**2 )

如果训练中出现三个值同时趋向正/负无穷的数值不稳定问题，可以加一个均值正则项，把三个输出的整体均值拉到0附近：

alpha = 0.1  # 正则系数，根据数值稳定性调整
loss = -( (f1 - f2)**2 + (f2 - f3)**2 + (f1 - f3)**2 ) + alpha * (f1 + f2 + f3)**2

训练初期如果三个输出差值很小，平方项容易引发梯度爆炸，可以先把平方换成绝对值，等输出出现明显间隔后再切回平方项加快收敛：

# 训练初期用的稳定版本
loss = -( torch.abs(f1 - f2) + torch.abs(f2 - f3) + torch.abs(f1 - f3) )

选型建议 #

• 如果是分类、排序这类有明确大小顺序要求的任务，优先选场景1的极大极小间隔损失，不会出现顺序混乱的问题。
• 如果是表征学习、特征解耦这类只需要拉开输出差异、不需要固定顺序的任务，选场景2的平方差损失即可，实现简单收敛快。

内容的提问来源于stack exchange，提问作者Hafiz Fahad