You need to enable JavaScript to run this app. 如何遍历唯一年份组合实现按年留一时序拆分并记录测试年份顺序?
优惠活动
大模型
产品
解决方案
定价
更多

如何遍历唯一年份组合实现按年留一时序拆分并记录测试年份顺序?

按年份留一时序交叉验证的实现方案

常见工具选型误区澄清

sklearn.LeaveOneOut的拆分粒度是单条独立样本,拆分逻辑为逐行留一条样本做测试,既不支持整块数据的分组拆分,也无法实现“按整块年份划分训练/测试集”的时序验证需求,不存在调整参数即可适配的可能。
与你的需求完全匹配的官方工具是sklearn.model_selection.LeaveOneGroupOut:该方法专为“按预定义分组留一拆分”设计,每轮将某一个分组的全量数据划分为测试集,其余所有分组的数据为训练集,全程按样本原有索引拆分、不会随机打乱时序,完全满足时序验证的要求。

自动遍历全量拆分的实现

整个流程不需要手动编写5次判断逻辑,只要提前给每条样本标记对应的分组(即年份),拆分器会自动覆盖所有拆分组合:

  1. 从DataFrame中提前提取每条样本对应的年份分组列
    import pandas as pd
    from sklearn.model_selection import LeaveOneGroupOut
    
    # 基于现有日期列生成分组标识
    df['year_group'] = df.date.dt.year
    # 提前确认覆盖的所有年份,与你之前查询到的[2015,2016,2017,2018,2019]完全一致
    unique_years = df['year_group'].unique()
    
  2. 初始化拆分器,逐轮生成拆分索引,同步存储每轮的元信息方便后续绘图
    logo_splitter = LeaveOneGroupOut()
    # 初始化结果存储容器,提前预留字段存拆分元信息、评估指标
    experiment_records = []
    
    # 遍历生成所有拆分对,groups参数传入每条样本对应的年份分组
    for fold_id, (train_idx, test_idx) in enumerate(logo_splitter.split(X=df, y=df.target_col, groups=df['year_group'])):
        # 提取当前轮测试集对应的年份(同组测试集年份完全一致,取首个值即可)
        current_test_year = df.iloc[test_idx]['year_group'].iloc[0]
        # 存下当前轮的核心信息,避免后续绘图时匹配不上对应年份
        experiment_records.append({
            "fold_id": fold_id,
            "test_year": current_test_year,
            "train_sample_idx": train_idx,
            "test_sample_idx": test_idx,
            "eval_metrics": {}
        })
    
    这套拆分逻辑会自动生成全部5轮拆分:2019年当测试集、2018年当测试集……直到2015年当测试集,每轮训练集为除当轮测试年份外的所有数据,完全匹配你提出的拆分要求。

单轮流程的串联执行

每轮拿到拆分索引后,按标准ML管线执行即可,不需要编写重复逻辑:

  • 基于train_sample_idx提取训练子集,执行完整特征工程流程:缺失值填充、类别编码、特征筛选等,所有变换器严格仅在训练子集上拟合,避免时序数据泄露
  • 用拟合完成的特征变换器,同步转换训练子集和test_sample_idx对应的测试子集
  • 训练多算法集成模型,在转换后的测试子集上计算准确率等评估指标,存回对应轮次的eval_metrics字段

结果可视化实现

等5轮实验全部跑完,直接从experiment_records中提取存储好的测试年份和对应指标绘图即可,不需要手动记录每轮的对应年份:

import matplotlib.pyplot as plt

# 从存储的记录中提取绘图所需维度
year_list = [rec['test_year'] for rec in experiment_records]
acc_list = [rec['eval_metrics']['accuracy'] for rec in experiment_records]

# 绘制准确率对比柱状图
plt.figure(figsize=(8,4))
plt.bar(year_list, acc_list)
plt.xlabel("测试集对应年份")
plt.ylabel("模型测试准确率")
plt.title("按年份留一交叉验证各轮表现")
plt.xticks(year_list)
plt.show()

因为拆分时就同步存储了每轮对应的测试年份,绘图时不会出现结果与年份不匹配的问题,业务方可以直接对应查看各年份的模型表现。

为什么不推荐硬写循环逻辑

如果采用硬编码的写法,需要手动把所有年份写入判断逻辑:

# 可维护性差的硬编码实现
for test_year in [2015,2016,2017,2018,2019]:
    train_mask = df['year_group'] != test_year
    test_mask = df['year_group'] == test_year
    # 后续流程

这种写法在后续数据集拓展新年份(比如新增2020年数据)时,必须手动修改列表内容才能生成对应拆分,而用LeaveOneGroupOut的实现只要更新分组列,就能自动生成对应数量的拆分,更符合可维护的Python编码习惯。

内容的提问来源于stack exchange,提问作者Nick Bohl

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.10 09:15:07