Pandas如何按FID分组统计各关联日期的_id计数
实现方案
基础统计逻辑(匹配你给出的目标输出结构)
你当前已将每条_id覆盖的全量日期存储在dr列,无需提前聚合FID的全局日期范围即可完成核心统计,步骤如下:
- 第一步:展开嵌套的
dr列
用explode操作把每行存储的DatetimeIndex拆为多行明细,让每一行对应「单个_id + 单个覆盖日期 + 所属FID」的基础结构。
正式展开代码:如果你的pandas版本较低,执行explode报错,可先做类型转换再操作:
df['dr'] = df['dr'].apply(lambda x: list(x))df_exploded = df.explode('dr', ignore_index=True) - 第二步:按维度分组计数
展开后的数据天然覆盖了每个FID下所有出现过的有效日期,直接按FID和拆分出的日期分组,统计对应_id的数量即可:
这一步的输出已经和你提供的目标示例结构完全匹配。# 重命名字段对齐目标输出格式 df_exploded = df_exploded.rename(columns={'dr': 'date'}) # 用nunique计数,规避同一_id重复登记的统计误差 stat_result = df_exploded.groupby(['FID', 'date'], as_index=False)['_id'].nunique() stat_result = stat_result.rename(columns={'_id': 'count(_id)'})
可选扩展:生成FID全量连续日期统计结果
如果需要让每个FID的统计区间从自身最早的first_seen到最晚的last_seen完全连续,哪怕某天没有任何_id覆盖也要输出0值,就可以用到你之前想到的「按FID分组取最早/最晚日期」的逻辑,在上述基础统计的结果上追加以下操作:
- 先聚合每个FID的全局时间边界:
fid_boundary = df.groupby('FID').agg( range_start=('first_seen', 'min'), range_end=('last_seen', 'max') ).reset_index() - 为每个FID生成区间内的所有连续自然日,和之前的统计结果左连接,空值补0:
# 构建全量日期的框架表 full_date_frame = [] for _, item in fid_boundary.iterrows(): full_dates = pd.date_range(item['range_start'], item['range_end'], freq='D') full_date_frame.append(pd.DataFrame({ 'FID': item['FID'], 'date': full_dates })) full_date_frame = pd.concat(full_date_frame, ignore_index=True) # 合并统计值,缺失的计数补0 final_result = full_date_frame.merge( stat_result, on=['FID', 'date'], how='left' ).fillna({'count(_id)': 0})
数据量较大时,逐行生成连续日期的操作可替换为
pd.MultiIndex笛卡尔积生成方式,内存占用会更低。
内容的提问来源于stack exchange,提问作者OJT
相关产品推荐
相关产品推荐

