如何用Pandas高效统计日期范围出现次数并补零？

我有一个规模可能较大的DataFrame，包含从日期范围查询得到的时间戳数据，示例如下：

0   2022-11-20 00:02:22.630968+00:00
1   2022-11-23 00:03:02.134938+00:00
2   2022-11-23 00:03:50.589251+00:00
3   2022-11-26 00:05:17.568843+00:00
4   2022-11-26 00:05:22.653905+00:00
5   2022-11-26 00:05:22.653905+00:00
6   2022-11-26 00:05:22.653905+00:00

需要将其转换为日期+对应出现次数的格式，无数据的日期需补零，示例如下：

2022-11-20 1
2022-11-21 0
2022-11-22 0
2022-11-23 2
2022-11-24 0
2022-11-25 0
2022-11-26 4

最终目标是将处理后的数据传入Calplot，请问用Pandas实现的最高效方式是什么？

针对大数据量场景，以下是兼顾性能与简洁性的实现步骤：

1. 标准化时间戳类型 #

先确保时间戳列是Pandas的datetime类型（若未转换）：

import pandas as pd

# 假设原始DataFrame为df，时间戳列名为'timestamp'
df['timestamp'] = pd.to_datetime(df['timestamp'], utc=True)

2. 按日期分组统计频次 #

提取日期部分并高效计数，同时按日期排序：

# 提取日期并统计每日出现次数，结果按日期升序排列
daily_counts = df['timestamp'].dt.date.value_counts().sort_index()

dt.date将时间戳转为datetime.date对象，value_counts()是矢量化统计操作，性能远高于手动遍历，sort_index()保证日期顺序正确。

3. 生成完整日期范围并补零 #

基于原始数据的起止日期生成连续日期序列，再对齐统计结果补零：

# 获取统计结果的起止日期
min_date = daily_counts.index.min()
max_date = daily_counts.index.max()

# 生成该范围内的所有连续日期
full_date_range = pd.date_range(start=min_date, end=max_date, freq='D')

# 对齐完整日期范围，缺失日期的计数补0
daily_counts_full = daily_counts.reindex(full_date_range.date, fill_value=0)

pd.date_range和reindex均为矢量化操作，处理百万级数据也能保持高效，避免了循环补零的性能损耗。

4. 传入Calplot可视化 #

Calplot直接支持以日期为索引的Series，无需额外格式转换：

import calplot

calplot.calplot(daily_counts_full, suptitle='每日事件统计')

性能优化提示 #

• 跳过不必要的类型转换：如果原始数据已经是datetime类型，可省略第一步
• 避免字符串操作：全程用datetime对象处理日期，减少类型转换开销
• 优先矢量化方法：所有操作均使用Pandas内置的矢量化API，拒绝循环遍历

内容的提问来源于stack exchange，提问作者h3.