如何基于分类元数据变量将数据划分为5个等规模分箱？

核心思路 #

既然要保证同分类元数据的样本不拆分，同时让5个分箱规模近似相等，我们可以用贪心分配策略：先按分类元数据分组统计样本量，再把整个组依次分配到当前样本量最小的分箱中，最终实现无泄露且均衡的分箱。无需额外工具包，用pandas就能搞定。

具体步骤与代码实现 #

假设你的DataFrame名为df，分类元数据列名为meta_cat，代码如下：

1. 统计每个分类组的样本量

import pandas as pd

# 按分类列分组，计算每组样本数并按从大到小排序（优先处理大组避免失衡）
group_sizes = df.groupby('meta_cat').size().sort_values(ascending=False)

2. 贪心分配组到分箱

n_bins = 5  # 设置目标分箱数
# 初始化分箱：存储每个分箱包含的组名和当前样本量
bins = {i: {'groups': [], 'size': 0} for i in range(n_bins)}

# 遍历所有组，每次把组加到当前最小的分箱里
for group, size in group_sizes.items():
    smallest_bin = min(bins.values(), key=lambda x: x['size'])
    smallest_bin['groups'].append(group)
    smallest_bin['size'] += size

# 构建分类值到分箱号的映射字典
bin_mapping = {}
for bin_num, info in bins.items():
    for group in info['groups']:
        bin_mapping[group] = bin_num

# 给原数据添加分箱标签列
df['fold'] = df['meta_cat'].map(bin_mapping)

3. 验证分箱结果

# 查看每个分箱的样本量（近似相等）
print(df['fold'].value_counts())

# 验证：每个分类元数据值仅属于一个分箱（无泄露）
assert df.groupby('meta_cat')['fold'].nunique().max() == 1

说明 #

这种贪心策略虽然无法做到绝对的样本量均等，但在绝大多数场景下能让分箱规模非常接近，完全满足交叉验证的需求。整个过程仅依赖pandas，无需额外工具，且严格保证了同分类元数据的样本不会被拆分到不同分箱，彻底避免数据泄露问题。

内容的提问来源于stack exchange，提问作者kate allerton