You need to enable JavaScript to run this app. Pandas如何按FID分组统计各关联日期的_id计数
优惠活动
大模型
产品
解决方案
定价
更多

Pandas如何按FID分组统计各关联日期的_id计数

实现方案

基础统计逻辑(匹配你给出的目标输出结构)

你当前已将每条_id覆盖的全量日期存储在dr列,无需提前聚合FID的全局日期范围即可完成核心统计,步骤如下:

  • 第一步:展开嵌套的dr列
    用explode操作把每行存储的DatetimeIndex拆为多行明细,让每一行对应「单个_id + 单个覆盖日期 + 所属FID」的基础结构。

    如果你的pandas版本较低,执行explode报错,可先做类型转换再操作:

    df['dr'] = df['dr'].apply(lambda x: list(x))
    
    正式展开代码:
    df_exploded = df.explode('dr', ignore_index=True)
    
  • 第二步:按维度分组计数
    展开后的数据天然覆盖了每个FID下所有出现过的有效日期,直接按FID和拆分出的日期分组,统计对应_id的数量即可:
    # 重命名字段对齐目标输出格式
    df_exploded = df_exploded.rename(columns={'dr': 'date'})
    # 用nunique计数,规避同一_id重复登记的统计误差
    stat_result = df_exploded.groupby(['FID', 'date'], as_index=False)['_id'].nunique()
    stat_result = stat_result.rename(columns={'_id': 'count(_id)'})
    
    这一步的输出已经和你提供的目标示例结构完全匹配。

可选扩展:生成FID全量连续日期统计结果

如果需要让每个FID的统计区间从自身最早的first_seen到最晚的last_seen完全连续,哪怕某天没有任何_id覆盖也要输出0值,就可以用到你之前想到的「按FID分组取最早/最晚日期」的逻辑,在上述基础统计的结果上追加以下操作:

  1. 先聚合每个FID的全局时间边界:
    fid_boundary = df.groupby('FID').agg(
        range_start=('first_seen', 'min'),
        range_end=('last_seen', 'max')
    ).reset_index()
    
  2. 为每个FID生成区间内的所有连续自然日,和之前的统计结果左连接,空值补0:
    # 构建全量日期的框架表
    full_date_frame = []
    for _, item in fid_boundary.iterrows():
        full_dates = pd.date_range(item['range_start'], item['range_end'], freq='D')
        full_date_frame.append(pd.DataFrame({
            'FID': item['FID'],
            'date': full_dates
        }))
    full_date_frame = pd.concat(full_date_frame, ignore_index=True)
    # 合并统计值,缺失的计数补0
    final_result = full_date_frame.merge(
        stat_result, 
        on=['FID', 'date'], 
        how='left'
    ).fillna({'count(_id)': 0})
    

数据量较大时,逐行生成连续日期的操作可替换为pd.MultiIndex笛卡尔积生成方式,内存占用会更低。


内容的提问来源于stack exchange,提问作者OJT

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.24 19:45:07