基于id专属日期范围筛选大型数据集的高效Python实现求助

你的问题核心是循环遍历每个ID进行过滤的方式效率极低——每次循环都要对整个主数据集做切片操作，对于数千个ID+千万级数据量的场景，这种O(n)的循环会导致大量重复计算。下面是基于Pandas向量化操作的优化方案，能把耗时从半小时压缩到几秒到几分钟（取决于数据量）：

优化思路 #

通过将主数据集与辅助日期范围表按ID合并，直接利用合并后的起止日期列做向量化过滤，完全避免循环操作。

优化代码 #

import pandas as pd

# 确保所有日期列是datetime类型（如果还不是的话）
df['date'] = pd.to_datetime(df['date'])
date_ranges['start_date'] = pd.to_datetime(date_ranges['start_date'])
date_ranges['end_date'] = pd.to_datetime(date_ranges['end_date'])

# 按ID合并两个数据集（每个ID在date_ranges中唯一，用inner merge仅保留有有效日期范围的ID）
merged_df = pd.merge(df, date_ranges, on='id', how='inner')

# 过滤出符合日期范围的数据
filtered_df = merged_df[(merged_df['date'] >= merged_df['start_date']) & (merged_df['date'] <= merged_df['end_date'])]

# 保留原主数据集的列（可选，按需调整）
result = filtered_df[['id', 'date', 'val']]

为什么这个方案更快？ #

1. 向量化操作：Pandas的merge和布尔过滤都是底层用C实现的向量化操作，比Python循环快几个数量级
2. 避免重复计算：原代码每次循环都要扫描整个主数据集找对应ID，合并后只需一次扫描完成所有匹配
3. 逻辑更简洁：不需要手动处理每个ID的起止日期，完全由Pandas自动对齐

额外优化建议 #

• 如果id列是字符串类型，可转为分类类型(df['id'] = df['id'].astype('category'))，进一步提升合并速度
• 确保主数据集的(id, date)唯一键已经排序，合并和过滤时能利用有序性加速
• 原代码中存在逻辑运算符优先级错误：df["id"] == x & (...) 应该写成 (df["id"] == x) & (...)，不过这个问题在优化方案中已经不存在

内容的提问来源于stack exchange，提问作者Luigi D.