Pandas Left Merge未按预期生成全量ID-日期组合问题排查

你当前的merge操作仅基于date字段左连，但df_dates中没有id列，无法生成所有ID与所有日期的全量组合，最终只会保留df_usage中已存在的ID+日期对，导致结果不符合预期。

要实现每个ID对应所有日期的组合，需先生成ID与日期的笛卡尔积（所有可能配对），再与df_usage左连标记使用记录，具体步骤如下：

1. 提取唯一ID列表 #

从df_usage中取出所有不重复的ID，生成单独的DataFrame：

df_unique_ids = df_usage[["id"]].drop_duplicates()

2. 生成ID与日期的全量组合 #

通过交叉连接生成所有ID和日期的配对：

• 兼容所有pandas版本的写法：

# 用临时key实现交叉连接
df_full_combinations = df_dates.assign(temp_key=1).merge(df_unique_ids.assign(temp_key=1), on="temp_key").drop("temp_key", axis=1)

• pandas 1.2.0+推荐写法：

# 直接使用merge的cross模式
df_full_combinations = df_dates.merge(df_unique_ids, how="cross")

3. 左连接标记使用记录 #

将全量组合与df_usage按id和date左连，通过_merge字段标记是否有使用记录：

df_final = df_full_combinations.merge(df_usage, on=["id", "date"], how="left", indicator=True)

此时df_final中：

• _merge为both：该ID在对应日期有使用记录
• _merge为left_only：该ID在对应日期无使用记录

扩展：按月份标记使用记录 #

如果需要标记当月是否有使用记录（而非单日期），可先按月份聚合再关联全量组合：

# 转换日期为月份格式
df_full_combinations["month"] = df_full_combinations["date"].dt.to_period("M")
df_usage["month"] = df_usage["date"].dt.to_period("M")

# 统计每个ID每月是否有使用记录
df_monthly_usage = df_usage[["id", "month"]].drop_duplicates().assign(has_monthly_usage=True)

# 关联到全量组合，标记当月使用情况
df_final_monthly = df_full_combinations.merge(
    df_monthly_usage,
    on=["id", "month"],
    how="left",
    indicator="month_merge"
)

内容的提问来源于stack exchange，提问作者Ftcister