如何高效补全DataFrame缺失小时级时间戳行并填充NaN

核心思路 #

用Pandas的矢量化时间序列操作替代循环，这类操作基于底层C实现，能彻底解决循环处理的性能问题，7万级别的数据可在几秒内完成处理。

步骤实现 #

1. 预处理：确保时间列是datetime类型

如果你的datetime列是字符串格式，先转换为Pandas的datetime类型：

import pandas as pd

# 转换时间列类型
df['datetime'] = pd.to_datetime(df['datetime'])
# （可选）去重重复时间戳，避免后续操作异常
df = df.drop_duplicates(subset='datetime')

2. 方法一：使用resample（推荐，代码更简洁）

resample是Pandas专为时间序列重采样设计的方法，直接按小时粒度补全缺失时间点：

# 将时间列设置为索引
df = df.set_index('datetime')
# 按小时重采样，缺失值自动填充为NaN
df_complete = df.resample('H').asfreq()
# （可选）将时间索引重新变回列
df_complete = df_complete.reset_index()

3. 方法二：使用reindex（自定义时间范围更灵活）

如果需要手动指定补全的时间范围（比如超出原数据的起止时间），可以用date_range生成完整序列后重新索引：

# 生成完整的小时级时间序列
start = df['datetime'].min()
end = df['datetime'].max()
full_time_seq = pd.date_range(start=start, end=end, freq='H')

# 设置时间索引并重新对齐
df = df.set_index('datetime')
df_complete = df.reindex(full_time_seq)
# （可选）恢复时间列
df_complete = df_complete.reset_index().rename(columns={'index': 'datetime'})

性能说明 #

循环处理是逐行的Python级操作，每一步都有大量解释器开销；而resample和reindex都是Pandas的矢量化操作，底层由C语言实现，能一次性处理整个数据集，效率提升几个数量级。

内容的提问来源于stack exchange，提问作者MH Zardary