如何实现scipy.stats.loguniform的离散化版本用于随机森林调参？

在随机森林超参数调优场景中，针对min_samples_leaf这类整数参数，当需要覆盖跨两个数量级的范围（例如1到100）时，对数均匀分布比scipy.stats.randint(1, 100)的均匀分布更适配需求。但SciPy仅提供了连续型的stats.loguniform，没有对应的离散版本。

现有方案的局限性 #

此前的近似方案是预生成大量连续样本后转换为整数，但静态的预生成列表无法利用RandomizedSearchCV的random_state参数带来的动态随机性：

from sklearn.model_selection import RandomizedSearchCV
from sklearn.ensemble import RandomForestRegressor
from scipy.stats import loguniform
import numpy as np

# 预生成离散化对数均匀样本的函数
def discretised_loguniform_samples(low, high, seed=None, sample_size=100_000):
    float_rvs = loguniform(low, high, seed=seed).rvs(sample_size)
    return float_rvs.round().astype(int)

# 使用示例
rf_param_distributions = {
    'min_samples_leaf': discretised_loguniform_samples(low=1, high=100, seed=0),
    # 其他参数...
}

RandomizedSearchCV(
    estimator=RandomForestRegressor(random_state=np.random.RandomState(0)),
    param_distributions=rf_param_distributions,
    n_iter=10,
    random_state=np.random.RandomState(0),
    # 其他参数...
)

该方案的核心问题是：预生成的整数列表固定不变，无法随RandomizedSearchCV的random_state动态调整采样逻辑。

解决方案：自定义离散对数均匀分布类 #

我们可以通过继承SciPy的rv_continuous基类，实现一个兼容SciPy分布接口的离散对数均匀分布，让其rvs()方法每次调用都能生成离散样本，并且支持接收random_state参数：

from scipy.stats import rv_continuous
import numpy as np

class discretised_loguniform(rv_continuous):
    def _rvs(self, size=None, random_state=None):
        # 生成连续对数均匀样本
        float_samples = super()._rvs(size=size, random_state=random_state)
        # 四舍五入转整数，同时通过clip确保样本在设定范围内
        int_samples = np.round(float_samples).astype(int)
        int_samples = np.clip(int_samples, self.a, self.b)
        return int_samples

# 初始化离散对数均匀分布实例（范围1到100）
dl_uniform = discretised_loguniform(a=1, b=100, name='discretised_loguniform')

在RandomizedSearchCV中使用 #

直接将自定义分布实例传入param_distributions即可，它会自动接收RandomizedSearchCV传递的random_state参数，每次采样都是动态生成的：

from sklearn.model_selection import RandomizedSearchCV
from sklearn.ensemble import RandomForestRegressor

rf_param_distributions = {
    'min_samples_leaf': dl_uniform,
    # 其他调优参数...
}

search = RandomizedSearchCV(
    estimator=RandomForestRegressor(random_state=np.random.RandomState(0)),
    param_distributions=rf_param_distributions,
    n_iter=10,
    random_state=np.random.RandomState(0),
    # 其他配置：比如cv、scoring等
)
search.fit(X, y)

方案优势 #

• 完全兼容SciPy的分布接口，无缝适配RandomizedSearchCV的采样逻辑
• rvs()方法每次调用动态生成离散样本，充分利用random_state的随机性
• 通过np.clip处理边界情况，确保样本始终在设定的low和high范围内

内容的提问来源于stack exchange，提问作者MuhammedYunus