模型参数优化中最小化RMSE最大化CORR的目标函数定义是否合理

我正在处理一个优化问题，需要优化模型参数以降低模型预测值（y_pred）相对于观测值（y_obs）的误差，优化目标为最小化均方根误差（RMSE）、最大化相关系数（CORR）。我设计了如下目标函数：

minimize(f) =  minimize(lambda*RMSE/CORR)
where lambda is some negative large value (e.g., -1e6) if CORR < 0
else lambda = 1

请问该目标函数定义是否正确，是否存在更优的定义方式？

现有目标函数的缺陷 #

你的设计思路是可行的，但存在几个明显的问题，很容易导致优化失败：

• 数值不稳定风险：当CORR趋近于0时，分母极小会导致目标函数值爆炸，出现数值溢出问题，优化器直接报错或陷入异常迭代。
• 优化优先级失衡：CORR<0时你用了量级极大的负lambda，会导致优化过程完全被CORR转正的目标主导，RMSE的优化在CORR转正前完全被忽略，很容易产出CORR刚转正但RMSE大到不可用的结果。
• 量纲不匹配：RMSE的数值范围取决于你的预测值量级，CORR固定在[-1,1]区间，两者没有做归一化的情况下直接相除，会导致某一个指标完全主导优化过程，你无法灵活控制两个目标的优先级。

更优的目标函数定义方式 #

根据你对两个指标的优先级要求，可以选择下面三种方案：

方案1：标准化加权组合（最通用、稳定性最高） #

先把两个指标归一化到相同量级再按权重组合，不需要做除法，完全规避数值问题：

# RMSE归一化到[0,1]，RMSE_max为你能接受的最大RMSE阈值
norm_RMSE = (RMSE - 0) / (RMSE_max - 0)
# CORR从[-1,1]归一化到[0,1]，值越小代表CORR越高
norm_CORR = (1 - CORR) / 2
# 最小化目标，alpha为权重，alpha越大越优先优化RMSE，反之越优先优化CORR
minimize(alpha * norm_RMSE + (1 - alpha) * norm_CORR)

优势：你可以通过调整alpha灵活控制两个指标的优先级，没有数值溢出风险，优化路径非常稳定。

方案2：保留原有逻辑的优化版 #

如果你一定要优先保证CORR为正，再优化RMSE/CORR，可以修改为下面的版本规避数值问题：

# 设置CORR的最小阈值避免分母趋近于0
if CORR < 0.01:
    # 优先惩罚负相关，同时保留RMSE的优化梯度
    loss = 1e6 * (0.01 - CORR) + RMSE
else:
    loss = RMSE / CORR
minimize(loss)

优势：和你原来的设计逻辑一致，但完全解决了数值不稳定的问题，优化过程更平滑。

方案3：帕累托多目标优化 #

如果你对两个指标没有明确的优先级偏好，可以直接做多目标帕累托优化，不需要人工合并目标，最终会输出一组帕累托最优解，你可以根据实际需求从解集中选择符合要求的模型参数。

内容的提问来源于stack exchange，提问作者raghav