如何按<Attribute1,Attribute2>属性组合随机拆分数据集为训练集与测试集
实现按特征组合约束的随机数据集拆分
核心逻辑:把*<Attribute1, Attribute2>的唯一取值组合作为最小拆分单元*,先对所有唯一组合做随机划分,再映射回原始行数据,从根源上避免同组合的行被拆分到两个集合。
具体实现步骤
- 第一步:加载原始数据集,提取所有不重复的特征组合
先读入csv格式的原始数据,再去掉两列特征的重复组合,拿到所有可能出现的<Attribute1, Attribute2>值。针对你给出的数据集,总共会提取到7种唯一组合:<1,1>、<1,2>、<2,1>、<2,2>、<3,1>、<3,2>、<3,3>。 - 第二步:对唯一特征组合做随机拆分
按照你需要的训练/测试集比例(比如常用的7:3、8:2),从所有唯一组合中随机选一部分标记为训练集归属,剩下的标记为测试集归属。这里拆分的对象是组合本身,不是原始行,所以不会出现同组拆分的问题。 - 第三步:按组合匹配规则,把原始行归入对应集合
遍历原始数据的每一行,根据行的特征组合匹配第二步的归属标记,把整行划入对应的训练/测试集即可。
可直接运行的参考代码
import pandas as pd import numpy as np # 1. 加载数据集 df = pd.read_csv("你的数据集.csv") # 2. 提取所有唯一的特征组合 unique_combos = df[["Attribute1", "Attribute2"]].drop_duplicates().reset_index(drop=True) # 3. 随机拆分组合,设随机种子保证结果可复现,这里按8:2的比例拆组合 train_combos = unique_combos.sample(frac=0.8, random_state=42) test_combos = unique_combos.drop(train_combos.index) # 4. 合并映射得到最终的训练/测试集 train_set = df.merge(train_combos, on=["Attribute1", "Attribute2"]) test_set = df.merge(test_combos, on=["Attribute1", "Attribute2"]) # 5. 校验拆分合法性:两个集合的特征组合不能有任何重叠 train_combo_set = set(train_set[["Attribute1", "Attribute2"]].itertuples(index=False)) test_combo_set = set(test_set[["Attribute1", "Attribute2"]].itertuples(index=False)) assert len(train_combo_set & test_combo_set) == 0, "拆分存在重叠的特征组合,不符合约束"
实际使用的注意事项
- 不要直接调用sklearn默认的
train_test_split做拆分,这个方法是逐行随机抽样的,无法保证同特征组合的行不被拆分。 - 如果需要控制最终训练/测试集的样本行数量比例接近预设值(而非按组合数量比例),可以在抽选组合时按每个组合对应的样本数做加权抽样。因为不同组合对应的原始行数不一样,纯按组合数拆分可能出现最终样本量偏差较大的问题(比如某几个组合对应了大部分样本,抽中后训练集占比远超预期)。
- 每次拆分一定要固定随机种子,避免每次运行得到的拆分结果不一致,导致后续模型实验无法复现。
- 针对你给出的示例数据集,运行上述代码后,会随机把部分特征组合划入训练集,剩下的划入测试集,完全满足同组合不拆分的要求,和题目中给出的示例拆分规则逻辑完全一致。
内容的提问来源于stack exchange,提问作者منى
相关产品推荐
相关产品推荐

