You need to enable JavaScript to run this app. pandas无需两次groupby实现分组筛选后按组采样的方法
优惠活动
大模型
产品
解决方案
定价
更多

pandas无需两次groupby实现分组筛选后按组采样的方法

Pandas 单次groupby实现分组过滤+按组等量采样

我们的目标是对DataFrame按指定列分组,自动舍弃行数小于采样数的分组,再从每个剩余分组中采样固定条数的数据,以下是仅需一次groupby的实现方案。

示例构造代码

import numpy as np
import pandas as pd
n = int(1e3)
n_prod = 5
p = [0.05, 0.05, 0.3, 0.3, 0.3]
df = pd.DataFrame(
    {
        "Product": np.random.choice([f"Product_{i}" for i in range(n_prod)], n, p=p),
         "Price": (np.random.random(n) * 50 + 10).round(2),
     }
 )

优化实现(仅1次groupby)

原方案需要先分组过滤、再分组采样,执行了两次groupby操作,可以通过apply直接在单次分组逻辑中完成判断+采样:

min_size = 150
df_sample = df.groupby("Product", group_keys=False).apply(
    lambda x: x.sample(min_size) if len(x) >= min_size else None
).reset_index(drop=True)

这里添加group_keys=False可以避免分组键变成额外索引,省去后续删层级的步骤,输出结果和原方案完全一致,调用df_sample.shape会返回(450, 2)。

注意事项

如果分组过滤后直接调用sample方法,采样逻辑是作用在整个过滤后的数据集上,而非每个分组单独采样,不符合需求:

# 错误写法,仅能得到全局采样的150条数据
df.groupby("Product").filter(lambda x: len(x) >= min_size).sample(min_size).shape
# 输出: (150, 2)

内容的提问来源于stack exchange,提问作者itamar kanter

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.09 16:24:02