如何在Pandas DataFrame中补全缺失时间戳并以均值填充rpm值

问题描述 #

现有大型数据集，其中每一分钟的59秒时间戳存在缺失（示例中缺少12:47:59），需要补全该缺失时间戳，并用缺失位置前后rpm值的均值填充对应字段。

输入示例 #

import pandas as pd

df = pd.DataFrame({
    'Time': ['12:47:56', '12:47:57', '12:47:58', '12:48:00', '12:48:01', '12:48:02', '12:48:03'],
    'rpm': [5.5, 7.0, 9.0, 12.0, 16.0, 19.0, 20.0]
})

解决方案步骤 #

1. 转换时间格式：将Time列转为pandas的时间类型，便于时间序列操作
2. 生成完整时间序列：基于原数据的时间范围，生成每秒间隔的完整时间索引
3. 合并并标记缺失值：将原数据与完整时间索引合并，自动标记缺失的rpm值
4. 均值填充缺失值：对缺失的rpm值，使用前后有效值的均值进行填充
5. 恢复时间字符串格式：将处理后的时间列转回原字符串格式（可选）

完整实现代码 #

import pandas as pd

# 1. 转换Time列为时间类型
df['Time'] = pd.to_datetime(df['Time'], format='%H:%M:%S')

# 2. 生成完整的每秒时间序列
full_time_range = pd.date_range(start=df['Time'].min(), end=df['Time'].max(), freq='S')

# 3. 合并原数据与完整时间序列，保留所有时间点
df_full = df.set_index('Time').reindex(full_time_range).reset_index().rename(columns={'index': 'Time'})

# 4. 用前后值的均值填充缺失的rpm（线性插值等价于单缺失值的算术平均）
df_full['rpm'] = df_full['rpm'].interpolate(method='linear', limit_direction='both')

# 5. 转回原时间字符串格式（按需保留）
df_full['Time'] = df_full['Time'].dt.strftime('%H:%M:%S')

print(df_full)

输出结果 #

df = pd.DataFrame({
    'Time': ['12:47:56', '12:47:57', '12:47:58','12:47:59', '12:48:00', '12:48:01', '12:48:02', '12:48:03'],
    'rpm': [5.5, 7.0, 9.0, 10.5,12.0, 16.0, 19.0, 20.0]
})

说明 #

• interpolate(method='linear')针对单个缺失值时，计算结果等于前后值的算术平均，完全匹配需求
• 该方案基于pandas原生时间序列操作，处理大型数据集效率较高，无需手动遍历

内容的提问来源于stack exchange，提问作者appu