Dvoretzky-Kiefer-Wolfowitz(DKW)与KDE的分数阶收敛对比

这是个直击统计估计本质的好问题，核心差异来自函数的性质和估计操作的固有难度，咱们从几个关键角度拆解：

• CDF的累积特性自带稳定性
  经验CDF是把每个样本的贡献累积起来的阶梯函数，它本身就是真实CDF的无偏估计。累积操作相当于做了一次"全局平均"，样本之间的随机波动会被大量抵消——你可以理解成，每个样本对CDF的影响是单调且叠加的，不会出现互相抵消的情况。DKW界的指数收敛正是这种稳定性的体现：随着样本量增大，经验CDF和真实CDF的最大偏差会以指数速度缩小。

• PDF是CDF的导数，求导是"放大噪声"的不稳定操作
  真实PDF是CDF的导数，但我们只能拿到经验CDF这个离散的阶梯函数。对离散的阶梯函数求导（或者用KDE这类方法去近似PDF）本质上是在做一个逆问题——逆问题天生就比正向问题难，因为它会放大数据里的噪声。经验CDF的微小台阶波动，在求导后会变成尖锐的脉冲，为了得到光滑的PDF估计，我们必须用核函数去平滑这些脉冲，但平滑过程又会引入偏差，偏差和方差的权衡直接限制了收敛速度，没法达到CDF那样的高效。

• 极小极大下界的本质限制
  对于光滑PDF，最优KDE的收敛速度（比如在L2损失下）是多项式级的（通常是$n^{-2p/(2p+1)}$，其中$p$是PDF的光滑阶数），永远达不到CDF的指数收敛速度。这是因为PDF的估计需要我们从离散样本中还原出连续的光滑函数，这个过程需要"猜"样本之间的信息，而这种猜测必然会引入误差；而CDF的估计只需要直接累积样本，不需要额外的猜测，自然效率更高。

举个直观的例子：你有一堆离散的点标记在CDF曲线上（经验CDF的台阶），要画CDF的话，直接连台阶就行，误差很小；但要画PDF的话，你得根据这些台阶的斜率去还原曲线，台阶的小抖动会让斜率变化很大，你得用平滑的曲线去拟合，这就必然会损失一部分真实细节，自然没法像CDF那样快地逼近真实值。

内容的提问来源于stack exchange，提问作者Amir Sagiv