pandas无需两次groupby实现分组筛选后按组采样的方法
Pandas 单次groupby实现分组过滤+按组等量采样
我们的目标是对DataFrame按指定列分组,自动舍弃行数小于采样数的分组,再从每个剩余分组中采样固定条数的数据,以下是仅需一次groupby的实现方案。
示例构造代码
import numpy as np import pandas as pd n = int(1e3) n_prod = 5 p = [0.05, 0.05, 0.3, 0.3, 0.3] df = pd.DataFrame( { "Product": np.random.choice([f"Product_{i}" for i in range(n_prod)], n, p=p), "Price": (np.random.random(n) * 50 + 10).round(2), } )
优化实现(仅1次groupby)
原方案需要先分组过滤、再分组采样,执行了两次groupby操作,可以通过apply直接在单次分组逻辑中完成判断+采样:
min_size = 150 df_sample = df.groupby("Product", group_keys=False).apply( lambda x: x.sample(min_size) if len(x) >= min_size else None ).reset_index(drop=True)
这里添加
group_keys=False可以避免分组键变成额外索引,省去后续删层级的步骤,输出结果和原方案完全一致,调用df_sample.shape会返回(450, 2)。
注意事项
如果分组过滤后直接调用sample方法,采样逻辑是作用在整个过滤后的数据集上,而非每个分组单独采样,不符合需求:
# 错误写法,仅能得到全局采样的150条数据 df.groupby("Product").filter(lambda x: len(x) >= min_size).sample(min_size).shape # 输出: (150, 2)
内容的提问来源于stack exchange,提问作者itamar kanter
相关产品推荐
相关产品推荐

