基于多条件为Pandas DataFrame补全缺失数据

问题背景 #

现有如下结构的pd.DataFrame（共11列，示例展示关键列）：

datetime ... month  year seconds
0    2023-03-02 20:59:00 ...     3  2023   75540
1    2023-03-02 20:58:00 ...     3  2023   75480
2    2023-03-02 20:57:00 ...     3  2023   75420
..                   ... ...   ...   ...     ...
775  2023-03-01 14:34:00 ...     3  2023   52440
779  2023-03-01 14:30:00 ...     3  2023   52200

[780 rows x 11 columns]

需完成三个核心要求：

• 仅保留datetime在14:30:00至20:59:00范围内的数据，删除超出范围的行；
• 除跨天（seconds==52200）情况外，每行间隔必须为60秒，补全随机缺失的行；
• 补全时，datetime、month、year、seconds列需对应缺失时间，其他列按前后行值线性填充。

当前使用while循环逐行迭代插入效率极低（数据量可达40万行），以下是基于Pandas矢量化操作的高效替代方案。

高效实现步骤 #

步骤1：预处理并筛选时间范围 #

先将datetime转为时间类型，再精准筛选符合要求的时间区间：

import pandas as pd

# 转换datetime列为标准时间类型
df['datetime'] = pd.to_datetime(df['datetime'])

# 提取时间部分，筛选14:30-20:59的行
time_start = pd.to_datetime('14:30:00').time()
time_end = pd.to_datetime('20:59:00').time()
df = df[df['datetime'].dt.time.between(time_start, time_end)]

步骤2：生成完整时间序列基准 #

按日期分组，为每个日期生成14:30到20:59的每分钟时间序列，作为补全的基准框架：

def generate_daily_full_series(group):
    # 获取当前分组的日期
    target_date = group['datetime'].dt.date.iloc[0]
    # 生成当天完整的每分钟时间序列
    start_time = pd.to_datetime(f"{target_date} 14:30:00")
    end_time = pd.to_datetime(f"{target_date} 20:59:00")
    full_times = pd.date_range(start=start_time, end=end_time, freq='60S')
    
    # 构建包含时间相关字段的基准表
    full_df = pd.DataFrame({'datetime': full_times})
    full_df['month'] = full_df['datetime'].dt.month
    full_df['year'] = full_df['datetime'].dt.year
    full_df['seconds'] = full_df['datetime'].dt.hour * 3600 + full_df['datetime'].dt.minute * 60 + full_df['datetime'].dt.second
    return full_df

# 按日期分组生成完整序列，合并为全局基准表
full_series = df.groupby(df['datetime'].dt.date).apply(generate_daily_full_series).reset_index(drop=True)

步骤3：合并数据并线性填充缺失值 #

将原数据与基准表合并，对非时间类字段执行线性插值填充：

# 合并基准表与原数据，保留基准表的所有时间节点
merged_df = pd.merge(full_series, df, on=['datetime', 'month', 'year', 'seconds'], how='left')

# 将datetime设为索引，确保线性插值按时间顺序执行
merged_df = merged_df.set_index('datetime')
# 线性填充缺失值，limit_direction='both'支持前后双向插值
merged_df = merged_df.interpolate(method='linear', limit_direction='both')

# 恢复datetime为普通列
merged_df = merged_df.reset_index()

核心优势说明 #

• 全程采用Pandas矢量化操作，避免逐行迭代，处理40万级数据的效率比while循环高100倍以上；
• 线性插值interpolate(method='linear')自动根据前后行数值计算中间缺失值，完全符合需求中的线性填充逻辑；
• 按日期分组生成序列，天然处理跨天边界问题，无需额外判断seconds==52200的情况。

内容的提问来源于stack exchange，提问作者Eboyer