曲线平滑度度量：基于带噪对数曲线推断alpha值

背景 #

在深度学习领域，accuracy curve是评估模型性能的核心指标，这类曲线通常近似对数函数。曲线中的大幅尖峰可能暗示batch size设置不合理等问题。

我们可以通过添加不同alpha值的随机噪声模拟这类带波动的曲线，生成代码如下：

import numpy as np
import matplotlib.pyplot as plt

def f(x, alpha):
    return np.log(x) + alpha * np.random.normal(size=x.size)

def main():
    x = np.linspace(0.5, 3)
    for i in [0, 0.1, 0.3]:
        plt.plot(x, f(x, alpha=i),label=fr'$\alpha$ = {i}')
    plt.legend()
    plt.show()

if __name__ == '__main__':
    main()

目标是通过度量曲线平滑度推断原始alpha值，以下是几种比二阶导数平方积分更精准的方案：

方案1：基于残差的方差估计 #

因为生成的曲线是log(x) + α*N(0,1)，直接利用噪声的统计特性即可估计alpha：

• 步骤：
  • 用最小二乘法拟合观测曲线到y = a*log(x) + b（理论上a=1、b=0，实际拟合可提升鲁棒性）
  • 计算每个点的残差：residuals = y_observed - y_fitted
  • 残差的标准差即为alpha的估计值：alpha_hat = np.std(residuals)
• 优势：直接匹配生成模型的噪声规律，鲁棒性强，对拟合误差敏感度低。

方案2：一阶差分统计量法 #

高斯噪声是独立同分布的，一阶差分的方差与alpha直接相关：

• 步骤：
  • 计算观测曲线的一阶差分：diff_y = np.diff(y_observed)
  • 计算原始log(x)的一阶差分：diff_log = np.diff(np.log(x))
  • 计算差分残差：diff_residuals = diff_y - diff_log
  • alpha的估计值：alpha_hat = np.std(diff_residuals) / np.sqrt(2)（因相邻噪声项独立，差分方差为2α²）
• 优势：无需拟合整条曲线，对局部波动更敏感，适合处理含局部异常点的曲线。

方案3：小波变换高频能量分析 #

小波变换可将曲线分解为不同尺度分量，噪声主要集中在高频细节中：

• 步骤：
  • 用db4等小波对观测曲线做多尺度分解
  • 提取最高频细节系数
  • 计算细节系数的标准差，通过已知alpha的样本建立校准曲线，映射得到目标alpha值
• 优势：能区分噪声与曲线本身的高频变化（如log(x)的曲率波动），适配复杂场景的平滑度度量。

方案4：总变差（Total Variation, TV）法 #

总变差衡量曲线整体波动程度，定义为一阶差分绝对值的和，与alpha单调相关：

• 步骤：
  • 计算观测曲线的总变差：TV = np.sum(np.abs(np.diff(y_observed)))
  • 用已知alpha的样本拟合TV与alpha的回归模型（如线性回归）
  • 用拟合模型预测未知曲线的alpha值
• 优势：计算简单，对极端值的鲁棒性优于方差类方法。

内容的提问来源于stack exchange，提问作者Amirhossein Rezaei