You need to enable JavaScript to run this app. Pandas按分组基于另一DataFrame匹配列删除行的高效方法咨询
优惠活动
大模型
产品
解决方案
定价
更多

Pandas按分组基于另一DataFrame匹配列删除行的高效方法咨询

优化实现方案

问题根因说明

你原来的代码存在两个核心问题:

  • 报错cannot reindex from a duplicate axis是因为每个PID对应多行记录,筛选后子表的长度和原分组长度不一致,直接给df1.loc[pid]赋值时长度不匹配导致索引冲突。
  • 逐组循环的方式时间复杂度为O(n)(n为PID数量),面对大数据量时效率极低。

高性能实现方案

采用Pandas向量化操作实现,全程无显式循环,适合大规模数据处理:

前置准备

首先统一日期格式,设置df2的PID为索引方便映射:

import pandas as pd
# 1. 统一转日期格式,避免字符串比较出错
df1['event_date'] = pd.to_datetime(df1['event_date'])
df2['event_date'] = pd.to_datetime(df2['event_date'])
# 2. 设置df2的PID为索引,生成截止日期映射
df2 = df2.set_index('PID')

方案一:如果df1实际为长表(每个会话单独一行)

如果df1本身就是每行对应一条Ses_ID记录,直接用映射+布尔过滤即可,性能最优:

# 映射每个PID对应的截止日期
df1['cutoff_date'] = df1.index.map(df2['event_date'])
# 直接过滤符合条件的行
df1_filtered = df1[df1['event_date'] < df1['cutoff_date']].drop('cutoff_date', axis=1)

方案二:如果df1是多值拼接的宽表(如示例中每个PID一行,字段用/分隔)

如果df1存储格式和示例一致,多值用/拼接,先拆分再过滤最后聚合即可:

# 1. 把所有用/分隔的字段拆分为列表
split_cols = ['Ses_ID', 'Var_1', 'event_date', 'Var_3']
for col in split_cols:
    df1[col] = df1[col].str.split('/')

# 2. 拆分为长表,每个会话单独一行
df1_long = df1.explode(split_cols)
# 3. 转日期格式
df1_long['event_date'] = pd.to_datetime(df1_long['event_date'])

# 4. 映射截止日期并过滤
df1_long['cutoff_date'] = df1_long.index.map(df2['event_date'])
df1_long_filtered = df1_long[df1_long['event_date'] < df1_long['cutoff_date']]

# 5. 按PID分组,重新拼接为/分隔的格式
df1_filtered = df1_long_filtered.groupby(level=0)[split_cols].agg('/'.join).reset_index()

两种方案都采用Pandas内置的向量化操作,性能比循环高出1~2个数量级,完全可以应对大规模数据处理。

内容的提问来源于stack exchange,提问作者Blue482

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.15 21:27:03