pandas基于returns表匹配规则删除orders表指定数量随机行的方法
实现方案
核心逻辑:按指定匹配维度对orders分组,每组关联returns中对应的删除数量,随机保留剩余行数即可。
步骤1:生成退货删除量映射
将returns的匹配维度与对应删除数量转为字典,方便分组时快速查询:
# 匹配键为(ProductID, BuyerID, ProductPrice),值为需删除的行数 return_del_map = returns.set_index(['ProductID', 'BuyerID', 'ProductPrice'])['Amount'].to_dict()
步骤2:分组过滤订单数据
对orders按匹配维度分组,每组计算需保留的行数并随机抽取:
def filter_group(group): # 获取当前分组的匹配键(多列分组时group.name为键元组) match_key = group.name # 无匹配退货时默认删除0条 del_count = return_del_map.get(match_key, 0) # 计算需保留的行数,避免出现负数异常 keep_count = max(len(group) - del_count, 0) # 随机抽取keep_count行,random_state设为整数可固定随机结果,设为None则每次随机 return group.sample(n=keep_count, random_state=None) # 分组处理,group_keys=False避免生成分组键多级索引 processed_orders = orders.groupby( ['ProductID', 'BuyerID', 'ProductPrice'], group_keys=False ).apply(filter_group)
示例数据运行效果
按你提供的样本数据执行后,结果完全符合预期:
- 匹配
ProductID=05, BuyerID=1, ProductPrice=50的组无退货,保留原索引0的行 - 匹配
ProductID=33, BuyerID=1, ProductPrice=10的组需删1条,组内仅1行,全部删除 - 匹配
ProductID=01, BuyerID=1, ProductPrice=5的组需删1条,组内仅1行,全部删除 - 匹配
ProductID=45, BuyerID=1, ProductPrice=90的组需删2条,组内共4行,随机保留2条 - 匹配
ProductID=45, BuyerID=2, ProductPrice=90的组无退货,保留原索引7的行
注意事项
- 若两边表的匹配字段类型不一致(比如ProductID一边是字符串
'05'、一边是整数5),需先统一类型,否则匹配失效:# 示例:统一ProductID为字符串类型 orders['ProductID'] = orders['ProductID'].astype(str) returns['ProductID'] = returns['ProductID'].astype(str) - 若需要固定随机抽取的结果,将
sample中的random_state设为固定整数(如42)即可。
内容的提问来源于stack exchange,提问作者Simon
相关产品推荐
相关产品推荐

