如何避免Sklearn大随机森林模型导致CPU核心过载？

我用Sklearn的RandomizedSearchCV训练了一个随机森林模型，保存为joblib文件后，在Docker容器的服务器上每日执行预测任务。具体流程如下：

watcher.py代码 #

def watch():

    def run_script():
        scripts = ["forecaster.py"]
        for script in scripts:
            subprocess.run(['python', script], check=True)
        time.sleep(63)
    
    while True:
        now = datetime.datetime.now(pytz.utc).astimezone(berlin_tz)
        if now.hour == 23 and now.minute == 0:
            logging.info(f"Running scripts at {now}.")
            run_script()
        time.sleep(3) 
        
if __name__ == '__main__':
    logging.info("Watcher gestartet")
    watch()

forecaster.py代码 #

data = get_data_from_API(...)
features = ["list", "of", "variables", "contained", "in", "data"]

rf = load(model_path.joblib)
rf_pred = rf.predict(data[features])

table = pd.DataFrame({
        'UTC': data['UTC'],
        'Forecast': rf_pred
        })
table.to_csv('somepath.csv')

最近训练的更优模型体积超过100000KB，导致脚本频繁被终止（<Signals.SIGKILL: 9>），Docker Desktop显示CPU使用率达100%（服务器核心性能弱于训练模型的笔记本）。小模型可正常运行，但大模型会崩溃，目前只能用精度较低的小模型，希望找到适配任意模型的解决方案。尝试过找并行处理的教程，但大多针对PyTorch等库或训练阶段，而非预测阶段。

1. 限制预测阶段的并行核心数 #

Sklearn随机森林默认用n_jobs=-1（占满所有核心）执行预测，这在弱性能服务器上会直接拉满CPU触发崩溃。加载模型后手动设置n_jobs为服务器核心数的一半或固定值：

rf = load(model_path.joblib)
rf.n_jobs = 1  # 比如服务器是2核就设为1，避免CPU瞬间过载
rf_pred = rf.predict(data[features])

2. 模型轻量化处理 #

（1）剪枝优化 #

加载模型后对每棵决策树进行剪枝，降低模型复杂度：

# 加载模型后执行剪枝
for tree in rf.estimators_:
    tree.ccp_alpha = 0.01  # 调整ccp_alpha值控制剪枝强度，值越大剪枝越彻底

注：剪枝会小幅损失精度，需在精度和模型大小间做平衡。

（2）压缩模型文件 #

保存模型时启用joblib的压缩参数，减少磁盘占用和内存加载压力：

# 训练后保存模型时添加压缩
joblib.dump(rf, model_path.joblib, compress=3)  # compress取值1-9，值越大压缩率越高

加载时会自动解压，仅加载时间略有增加。

3. 预测数据分批处理 #

如果预测数据集较大，拆分批次执行预测，避免一次性占用过多内存：

batch_size = 1000  # 根据服务器内存调整批次大小
predictions = []
for i in range(0, len(data), batch_size):
    batch = data[features].iloc[i:i+batch_size]
    batch_pred = rf.predict(batch)
    predictions.extend(batch_pred)

table = pd.DataFrame({
        'UTC': data['UTC'],
        'Forecast': predictions
        })
table.to_csv('somepath.csv')

4. 配置Docker资源配额 #

运行容器时手动限制CPU和内存，避免容器耗尽宿主机资源：

docker run --cpus=1 --memory=2g your-image-name

根据服务器实际配置调整参数，比如2核4G内存的服务器可设--cpus=1.5 --memory=3g。

5. 内存映射加载模型 #

用joblib的内存映射模式加载模型，减少一次性内存占用：

import joblib
rf = joblib.load(model_path.joblib, mmap_mode='r')

注：此模式下模型为只读，无法修改，但不影响预测执行。

内容的提问来源于stack exchange，提问作者RToPython