You need to enable JavaScript to run this app. Pandas DataFrame过滤优化:提取各成员最后服务记录前2年内的全量数据
优惠活动
大模型
产品
解决方案
定价
更多

Pandas DataFrame过滤优化:提取各成员最后服务记录前2年内的全量数据

Pandas 按成员提取近2年服务记录的性能优化方案

抛弃逐成员循环 + 逐行apply的低效写法,全部使用pandas向量化操作,性能可以提升10~100倍,完全适配21万成员的数据集。

完整优化代码

import pandas as pd
import numpy as np

# 原构造df逻辑(修正了原代码中list传参的笔误)
df = pd.DataFrame(zip(
    ['M1','M1','M1','M1','M2','M2','M2','M2','M3','M3','M3','M3','M4','M4','M4','M4'], 
    ['07-27-2021','01-15-2021','08-29-2020','03-16-2015', '07-26-2021','02-15-2021','04-22-2020','08-28-2017', '06-15-2021','03-19-2021','08-27-2020','06-11-2019', '05-05-2021','03-15-2021','11-29-2020','03-16-2015']
))
df.columns = ['Member_ID','Date_of_Service']
df['Date_of_Service'] = pd.to_datetime(df['Date_of_Service'])

# ========== 核心优化逻辑 ==========
# 1. 直接映射每个成员的最晚服务日期到对应行
df['max_service_date'] = df.groupby('Member_ID')['Date_of_Service'].transform('max')

# 2. 向量化计算Delta,无逐行运算
df['Delta'] = (df['Date_of_Service'] - df['max_service_date']) / np.timedelta64(1, 'D')

# 3. 筛选近2年记录并清理冗余字段
data_final = df[(df['Delta'] >= -730) & (df['Delta'] <= 0)].drop(columns='max_service_date').reset_index(drop=True)

核心优化点

  • 移除了21万次的Python层成员循环,改用groupby.transform实现C层的向量化日期映射,运算效率提升数十倍
  • 替换逐行apply计算差值的逻辑,直接通过datetime列批量运算得到Delta,避免了百万级的Python函数调用开销
  • 无需额外维护列表存储中间结果再拼接,单次布尔索引即可完成筛选,内存占用更低

可选精度优化(适配闰年)

如果业务要求严格按照自然年计算2年范围(避免闰年导致730天不足2年的问题),可以用以下逻辑替换:

df['max_service_date'] = df.groupby('Member_ID')['Date_of_Service'].transform('max')
df['two_year_ago'] = df['max_service_date'] - pd.DateOffset(years=2)
data_final = df[df['Date_of_Service'].between(df['two_year_ago'], df['max_service_date'])].copy()
data_final['Delta'] = (data_final['Date_of_Service'] - data_final['max_service_date']).dt.days
data_final = data_final.drop(columns=['max_service_date', 'two_year_ago']).reset_index(drop=True)

内容的提问来源于stack exchange,提问作者user47

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.10 18:57:01