Pandas如何查找DataFrame中缺失的季度日期和指定id组合
实现方案
核心逻辑是先构造基准id+期望季度的全量笛卡尔积组合,再和现有数据的有效组合求差集,适配季度格式的步骤如下:
步骤1:生成基准季度序列
用pandas原生季度频率生成你需要覆盖的季度范围,直接转成你用的Qx.xx格式即可:
import pandas as pd # 定义校验基准id列表 base_ids = ['aa', 'bb', 'cc', 'dd'] # 生成2022年全年的季度序列,freq="Q"代表按季度取数 all_quarters = pd.date_range(start="2022-01-01", end="2022-12-31", freq="Q").strftime("Q%q.%y").tolist() # 输出的all_quarters为 ['Q1.22', 'Q2.22', 'Q3.22', 'Q4.22'],和你现有date列格式完全匹配
步骤2:构造全量期望组合
用笛卡尔积生成所有应该存在的id+季度组合:
full_combo = pd.MultiIndex.from_product([base_ids, all_quarters], names=["id", "date"]).to_frame(index=False)
步骤3:求差集得到缺失组合
和现有数据的去重id+date组合对比,过滤出缺失项:
# 提取现有数据的有效组合(去重) existing_combo = df[["id", "date"]].drop_duplicates() # 左连接匹配,未匹配到的就是缺失组合 missing_combo = full_combo.merge( existing_combo, on=["id", "date"], how="left", indicator=True ) missing_combo = missing_combo[missing_combo["_merge"] == "left_only"][["id", "date"]]
按你描述的现有数据场景,最终输出的missing_combo会包含10条缺失记录:dd的全部4个2022季度、aa/bb/cc三个id的Q3.22、Q4.22。
简化写法
如果偏好集合运算,可以直接用set求差,代码更短:
existing_set = set(df[["id", "date"]].itertuples(index=False, name=None)) full_set = set(pd.MultiIndex.from_product([base_ids, all_quarters])) missing_combo = pd.DataFrame(full_set - existing_set, columns=["id", "date"])
动态适配季度范围扩展
如果不想硬写起止日期,需要动态匹配现有数据的季度范围,可以先解析现有date列的季度值再生成序列:
# 把现有date列转成pandas季度类型,自动识别范围 df["quarter"] = pd.PeriodIndex(df["date"].str.replace(r"Q(\d)\.(\d+)", r"20\2Q\1"), freq="Q") min_q, max_q = df["quarter"].min(), df["quarter"].max() # 可自行调整max_q到同年Q4,覆盖全年 all_quarters = pd.period_range(min_q, max_q, freq="Q").strftime("Q%q.%y").tolist()
内容的提问来源于stack exchange,提问作者Lynn
相关产品推荐
相关产品推荐

