如何在Pandas中基于日期范围、物品ID与价格合并两数据框并标记非匹配项?
Pandas 多条件区间关联实现
核心逻辑
严格按照给定的匹配规则实现关联:
- 匹配维度:销售
Date落在促销记录的[Start_Date, End_Date]闭区间内、销售记录ID与促销ID一致、销售Price与促销Price一致 - 关联方式:左连接,全量保留销售表所有原始行,未满足匹配条件的行
Promo字段统一标记为Non-Event
实现代码
import pandas as pd # 1. 构造销售数据集 sales_df = pd.DataFrame({ "Date": ["1/1/2020", "1/1/2020", "1/2/2020", "1/10/2020", "1/11/2020"], "ID": [3, 4, 10, 4, 3], "Price": [9.99, 5.99, 69.99, 5.99, 10.99] }) # 日期字段转datetime格式,消除字符串比较误差 sales_df["Date"] = pd.to_datetime(sales_df["Date"]) # 2. 构造促销数据集 promo_df = pd.DataFrame({ "Start_Date": ["1/1/2020", "1/1/2020", "1/1/2020"], "End_Date": ["1/8/2020", "1/8/2020", "1/8/2020"], "ID": [3, 4, 10], "Price": [9.99, 5.99, 49.99], "Promo": ["Event1", "Event1", "Event1"] }) # 促销起止日期同步转datetime格式 promo_df[["Start_Date", "End_Date"]] = promo_df[["Start_Date", "End_Date"]].apply(pd.to_datetime) # 3. 基于ID、Price两个刚性等值键做左连接,全量保留销售行 merged = sales_df.merge( promo_df[["Start_Date", "End_Date", "ID", "Price", "Promo"]], on=["ID", "Price"], how="left" ) # 4. 过滤有效匹配:销售日期落在促销区间内才算匹配成功 valid_match = (merged["Date"] >= merged["Start_Date"]) & (merged["Date"] <= merged["End_Date"]) # 未满足匹配条件的行统一标记为Non-Event merged.loc[~valid_match, "Promo"] = "Non-Event" # 5. 清理辅助列,整理输出格式 final_result = merged.drop(columns=["Start_Date", "End_Date"]) # 日期格式化还原为示例样式,Windows系统可将参数替换为"%#m/%#d/%Y" final_result["Date"] = final_result["Date"].dt.strftime("%-m/%-d/%Y")
运行输出结果
Date ID Price Promo 0 1/1/2020 3 9.99 Event1 1 1/1/2020 4 5.99 Event1 2 1/2/2020 10 69.99 Non-Event 3 1/10/2020 4 5.99 Non-Event 4 1/11/2020 3 10.99 Non-Event
常见踩坑说明
之前尝试的
merge_asof方案无法满足需求的核心原因是:该方法仅支持单键时序近邻匹配,既没法约束销售日期必须落在促销区间的上界以内,也没法强制绑定ID、Price两个等值匹配条件,极易出现错配。日期处理是这类匹配的核心易错点:所有参与区间比较的日期必须转为
datetime格式,直接用字符串比较的话,"1/10/2020"会被判定为早于"1/8/2020",完全颠倒日期先后顺序。该方案的关联效率远高于全表笛卡尔积匹配:先通过ID、Price两个刚性条件过滤掉绝大多数无效关联,再做日期区间判断,数据量较大时也能稳定运行。
内容的提问来源于stack exchange,提问作者stupideye
相关产品推荐
相关产品推荐

