Pandas按分组基于另一DataFrame匹配列删除行的高效方法咨询
优化实现方案
问题根因说明
你原来的代码存在两个核心问题:
- 报错
cannot reindex from a duplicate axis是因为每个PID对应多行记录,筛选后子表的长度和原分组长度不一致,直接给df1.loc[pid]赋值时长度不匹配导致索引冲突。 - 逐组循环的方式时间复杂度为O(n)(n为PID数量),面对大数据量时效率极低。
高性能实现方案
采用Pandas向量化操作实现,全程无显式循环,适合大规模数据处理:
前置准备
首先统一日期格式,设置df2的PID为索引方便映射:
import pandas as pd # 1. 统一转日期格式,避免字符串比较出错 df1['event_date'] = pd.to_datetime(df1['event_date']) df2['event_date'] = pd.to_datetime(df2['event_date']) # 2. 设置df2的PID为索引,生成截止日期映射 df2 = df2.set_index('PID')
方案一:如果df1实际为长表(每个会话单独一行)
如果df1本身就是每行对应一条Ses_ID记录,直接用映射+布尔过滤即可,性能最优:
# 映射每个PID对应的截止日期 df1['cutoff_date'] = df1.index.map(df2['event_date']) # 直接过滤符合条件的行 df1_filtered = df1[df1['event_date'] < df1['cutoff_date']].drop('cutoff_date', axis=1)
方案二:如果df1是多值拼接的宽表(如示例中每个PID一行,字段用/分隔)
如果df1存储格式和示例一致,多值用/拼接,先拆分再过滤最后聚合即可:
# 1. 把所有用/分隔的字段拆分为列表 split_cols = ['Ses_ID', 'Var_1', 'event_date', 'Var_3'] for col in split_cols: df1[col] = df1[col].str.split('/') # 2. 拆分为长表,每个会话单独一行 df1_long = df1.explode(split_cols) # 3. 转日期格式 df1_long['event_date'] = pd.to_datetime(df1_long['event_date']) # 4. 映射截止日期并过滤 df1_long['cutoff_date'] = df1_long.index.map(df2['event_date']) df1_long_filtered = df1_long[df1_long['event_date'] < df1_long['cutoff_date']] # 5. 按PID分组,重新拼接为/分隔的格式 df1_filtered = df1_long_filtered.groupby(level=0)[split_cols].agg('/'.join).reset_index()
两种方案都采用Pandas内置的向量化操作,性能比循环高出1~2个数量级,完全可以应对大规模数据处理。
内容的提问来源于stack exchange,提问作者Blue482
相关产品推荐
相关产品推荐

