Pandas DataFrame过滤优化:提取各成员最后服务记录前2年内的全量数据
Pandas 按成员提取近2年服务记录的性能优化方案
抛弃逐成员循环 + 逐行apply的低效写法,全部使用pandas向量化操作,性能可以提升10~100倍,完全适配21万成员的数据集。
完整优化代码
import pandas as pd import numpy as np # 原构造df逻辑(修正了原代码中list传参的笔误) df = pd.DataFrame(zip( ['M1','M1','M1','M1','M2','M2','M2','M2','M3','M3','M3','M3','M4','M4','M4','M4'], ['07-27-2021','01-15-2021','08-29-2020','03-16-2015', '07-26-2021','02-15-2021','04-22-2020','08-28-2017', '06-15-2021','03-19-2021','08-27-2020','06-11-2019', '05-05-2021','03-15-2021','11-29-2020','03-16-2015'] )) df.columns = ['Member_ID','Date_of_Service'] df['Date_of_Service'] = pd.to_datetime(df['Date_of_Service']) # ========== 核心优化逻辑 ========== # 1. 直接映射每个成员的最晚服务日期到对应行 df['max_service_date'] = df.groupby('Member_ID')['Date_of_Service'].transform('max') # 2. 向量化计算Delta,无逐行运算 df['Delta'] = (df['Date_of_Service'] - df['max_service_date']) / np.timedelta64(1, 'D') # 3. 筛选近2年记录并清理冗余字段 data_final = df[(df['Delta'] >= -730) & (df['Delta'] <= 0)].drop(columns='max_service_date').reset_index(drop=True)
核心优化点
- 移除了21万次的Python层成员循环,改用
groupby.transform实现C层的向量化日期映射,运算效率提升数十倍 - 替换逐行
apply计算差值的逻辑,直接通过datetime列批量运算得到Delta,避免了百万级的Python函数调用开销 - 无需额外维护列表存储中间结果再拼接,单次布尔索引即可完成筛选,内存占用更低
可选精度优化(适配闰年)
如果业务要求严格按照自然年计算2年范围(避免闰年导致730天不足2年的问题),可以用以下逻辑替换:
df['max_service_date'] = df.groupby('Member_ID')['Date_of_Service'].transform('max') df['two_year_ago'] = df['max_service_date'] - pd.DateOffset(years=2) data_final = df[df['Date_of_Service'].between(df['two_year_ago'], df['max_service_date'])].copy() data_final['Delta'] = (data_final['Date_of_Service'] - data_final['max_service_date']).dt.days data_final = data_final.drop(columns=['max_service_date', 'two_year_ago']).reset_index(drop=True)
内容的提问来源于stack exchange,提问作者user47
相关产品推荐
相关产品推荐

