如何在Pandas中不创建新索引补全缺失的时间序列行

假设你的DataFrame已加载，且包含datetime列，以下是无需全量重写索引的补全方案：

步骤1：确保时间列格式正确 #

先将datetime列转换为pandas的datetime类型（若未转换）：

import pandas as pd
import numpy as np

df['datetime'] = pd.to_datetime(df['datetime'])

步骤2：识别需要补全的时间间隔 #

设定触发补全的时间阈值（示例设为5分钟，可按需修改），找出所有超过该阈值的时间间隔：

# 定义阈值：间隔超过此值则补全
threshold = pd.Timedelta(minutes=5)

# 计算相邻行的时间差，标记出需要补全的位置
df['time_diff'] = df['datetime'].diff().shift(-1)
gap_mask = df['time_diff'] > threshold

# 提取每个需补全区间的起始索引与对应结束行索引
gap_intervals = list(zip(df.loc[gap_mask].index, df.loc[gap_mask].index + 1))

步骤3：生成缺失时间行并补全 #

对每个识别出的间隔，生成1分钟频率的缺失时间点，创建匹配原数据结构的空行（其他列默认填充NaN，可自定义）：

filled_data = []
for start_idx, end_idx in gap_intervals:
    start_time = df.iloc[start_idx]['datetime']
    end_time = df.iloc[end_idx]['datetime']
    
    # 生成起始时间后1分钟到结束时间前1分钟的时间序列
    missing_times = pd.date_range(
        start=start_time + pd.Timedelta(minutes=1),
        end=end_time - pd.Timedelta(minutes=1),
        freq='1min'
    )
    
    # 创建补全用DataFrame，对齐原数据列结构
    fill_df = pd.DataFrame({'datetime': missing_times})
    for col in df.columns.drop(['datetime', 'time_diff']):
        fill_df[col] = np.nan  # 可替换为0、前向值等自定义默认值
    
    filled_data.append(fill_df)

步骤4：合并数据并排序 #

将原数据与补全数据合并，按时间排序得到最终结果：

# 合并原数据（移除临时的time_diff列）与补全数据
final_df = pd.concat([df.drop('time_diff', axis=1)] + filled_data, ignore_index=True)

# 按datetime排序
final_df = final_df.sort_values('datetime').reset_index(drop=True)

可选：填充非时间列的缺失值 #

若需要对其他列的缺失值进行填充（比如前向填充最近有效值），可添加：

final_df = final_df.ffill()  # 前向填充，也可使用bfill()进行后向填充

内容的提问来源于stack exchange，提问作者simonblaha