如何统计pandas DataFrame中近7天日期的行数及SQL导入效率优化

首先确保date列已经转换为pandas datetime类型，之后用向量化布尔索引直接统计，全程无循环，是标准的pandas风格实现：

# 转换日期列格式（如果已经是datetime类型可以跳过）
df['date'] = pd.to_datetime(df['date'])
# 计算7天前的时间阈值，用normalize()可以取当日零点，避免时间部分干扰
cutoff_time = pd.Timestamp.today().normalize() - pd.Timedelta(days=7)
# 直接对布尔序列求和得到符合条件的行数
past_7d_count = (df['date'] >= cutoff_time).sum()

非常推荐在数据加载阶段就通过SQL完成过滤，这个方案在绝大多数场景下效率都远高于拉取全量数据到本地再处理，核心优势有两个：

• 大幅降低IO开销：不需要把全表数据从数据库传输到本地，仅传输符合条件的少量数据甚至直接传输统计结果，数据量越大优势越明显
• 可以利用数据库索引优化：如果date字段建有索引，SQL的日期过滤效率会远高于本地pandas的全量遍历效率

对应的SQL查询示例（不同数据库的日期函数可自行调整）：

-- 仅需要统计行数时直接返回结果，不需要拉取任何业务数据
SELECT COUNT(*) FROM 你的表名 WHERE date >= DATE_SUB(CURDATE(), INTERVAL 7 DAY);

-- 需要拉取符合条件的数据到本地做后续处理时加过滤条件
SELECT * FROM 你的表名 WHERE date >= DATE_SUB(CURDATE(), INTERVAL 7 DAY);

按优先级从高到低选择：

1. 仅需要统计行数、不需要后续处理数据：优先在SQL端完成统计，仅返回单个数值，开销最低
2. 需要用符合条件的行做后续分析：在SQL查询中加日期过滤条件，仅拉取过去7天的数据
3. 已经将全量数据加载到本地、无法再请求数据库：使用上述pandas向量化统计方案，性能远高于自定义循环计数实现

内容的提问来源于stack exchange，提问作者by3by3byt3