KDE交叉验证中bandwidths代码含义及取值依据的技术问询

代码bandwidths = 10 ** np.linspace(-1, 1, 100)的具体含义 #

可以把这段代码拆成两部分理解：

1. np.linspace(-1, 1, 100)：这是NumPy的线性空间生成函数，会在-1到1的区间内生成100个等间距的数值——第一个数是-1，最后一个是1，中间的数均匀分布，相邻数值的差值固定。
2. 10 ** ...：对上面生成的每个数值取10的幂，把原本的线性区间转换成对数刻度的等间距区间。最终得到的bandwidths数组，是从10^-1=0.1到10^1=10之间的100个数值，这些数值在对数尺度上均匀分布，小带宽区间的采样密度更高。

为什么要设置这样的bandwidths取值 #

这么设置是为了高效、合理地搜索KDE的最优带宽，核心原因如下：

• 带宽对KDE的影响是非线性的：小带宽的细微变化会让密度曲线产生剧烈波动（容易过拟合），而大带宽的变化对曲线的影响相对平缓（容易欠拟合）。用对数刻度采样，能在对结果影响更大的小带宽区间分配更多采样点，避免在大带宽区间浪费计算资源。
• 0.1到10是通用合理区间：这个范围覆盖了绝大多数常见数据集下KDE的有效带宽范围，既不会因为带宽太小捕捉到噪声，也不会因为带宽太大抹平真实的数据分布特征，是经验性的通用初始搜索范围。
• 100个采样点平衡精度与成本：采样点太少可能错过最优带宽，太多则会大幅增加交叉验证的计算时间，100个是兼顾搜索精度和计算效率的合理选择。

完整代码示例 #

from sklearn.grid_search import GridSearchCV
from sklearn.cross_validation import LeaveOneOut
import numpy as np

bandwidths = 10 ** np.linspace(-1, 1, 100)
grid = GridSearchCV(KernelDensity(kernel='gaussian'),
                    {'bandwidth': bandwidths},
                    cv=LeaveOneOut(len(x)))
grid.fit(x[:, None]);

内容的提问来源于stack exchange，提问作者Arthur Jason