如何用Python Pandas处理非均匀间隔时间序列？

我需要用Python分析时间序列数据，但无法确定数据的采集间隔——推测为5秒，但有时可能更短、更长，甚至会出现1小时未记录数据的情况。请问是否有通用的处理方法？

代码疑问 #

我尝试了如下代码，想知道当数据间隔有时短于5秒、有时长于5秒时，该代码能否正确运行？

import pandas as pd
import numpy as np

x = [0,1,1.1,1.100001,2,2.5,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21]

length = len(x)
y = [None] * length
pos = 0
while pos < length:
    y[pos] = x[pos]*x[pos]*x[pos]+4*x[pos]*x[pos]+2*x[pos]+1
    pos = pos + 1

print(x)
print(y)

timeline = pd.to_datetime(x,unit="s")
recv = pd.Series(y,timeline)
recv = recv.resample('5S').interpolate(method='spline', order=2) 
print(recv)

代码输出 #

[0, 1, 1.1, 1.100001, 2, 2.5, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21]
[1, 8, 9.371000000000002, 9.3710144300073, 29, 46.625, 70, 137, 236, 373, 554, 785, 1072, 1421, 1838, 2329, 2900, 3557, 4306, 5153, 6104, 7165, 8342, 9641, 11068]
1970-01-01 00:00:00       1.0
1970-01-01 00:00:05     236.0
1970-01-01 00:00:10    1421.0
1970-01-01 00:00:15    4306.0
1970-01-01 00:00:20    9641.0
Freq: 5S, dtype: float64

额外问题 #

当我将数据改为x=[0,1,2,3,4,5,6,7,8]时，运行上述代码会报错。我了解到spline插值需要至少2倍采样时长（即10秒），但不知如何避免报错，也不确定同时进行上采样和下采样的方法是否正确，求帮助！

1. 现有代码的有效性 #

代码能运行，但有明显局限：

• 短于5秒的间隔会被下采样合并到最近的5秒窗口，通过spline插值生成整点数据，这部分逻辑成立。
• 长于5秒的间隔（尤其是1小时级缺失），spline插值会基于前后少量数据强行拟合，结果完全偏离真实情况，没有参考价值。

2. 通用不稳定间隔时间序列处理流程 #

步骤1：数据清洗 #

• 去重重复时间戳：recv = recv[~recv.index.duplicated(keep='first')]，避免resample时冲突。
• 标记长缺失段：用recv.asfreq('1S')生成1秒粒度序列，通过isna().astype(int).rolling(30).sum()定位连续缺失超过30秒的区间，后续单独处理。

步骤2：分场景选择补全策略 #

• 短间隔缺失（几秒到几十秒）：平滑数据用spline/linear插值；突变型数据用pad（向前填充）更合理。
• 长间隔缺失（如1小时）：不要强行插值，直接保留NaN，或用同时段历史均值填充，分析时排除该区间。

步骤3：统一采样频率 #

用resample('5S')是合理的，但要结合数据特性调整：

• 下采样（一个窗口多个数据点）：优先用mean()/median()聚合，而非直接插值，避免过度拟合。
• 上采样（无数据窗口）：根据数据类型选插值方法，同时跳过已标记的长缺失段。

3. 解决spline插值报错问题 #

针对数据长度不足2阶spline要求的情况，有三种方案：

方案1：降级插值方法 #

改用对数据长度要求更低的linear或pad：

recv = recv.resample('5S').interpolate(method='linear')

方案2：边界补全虚拟点 #

若坚持用spline，在数据首尾补全趋势延伸的虚拟点：

# 补全首点前的虚拟数据
pre_time = recv.index[0] - pd.Timedelta(seconds=5)
pre_val = recv.iloc[0] - (recv.iloc[1] - recv.iloc[0])
recv = pd.concat([pd.Series([pre_val], index=[pre_time]), recv])

# 补全尾点后的虚拟数据
post_time = recv.index[-1] + pd.Timedelta(seconds=5)
post_val = recv.iloc[-1] + (recv.iloc[-1] - recv.iloc[-2])
recv = pd.concat([recv, pd.Series([post_val], index=[post_time])])

# 执行resample和插值
recv = recv.resample('5S').interpolate(method='spline', order=2)

方案3：动态选择插值方法 #

根据数据覆盖时长自动切换方法：

time_range = recv.index[-1] - recv.index[0]
if time_range < pd.Timedelta(seconds=10):
    recv = recv.resample('5S').interpolate(method='linear')
else:
    recv = recv.resample('5S').interpolate(method='spline', order=2)

4. 上/下采样结合的合理性 #

这种方法是合理的，但要注意：

• 下采样时，一个5秒窗口内有多个数据点的情况下，直接插值会忽略数据分布，建议先聚合（如取均值）再插值，或用asfreq('5S')后插值，结果更准确。
• 必须跳过长缺失段，否则插值结果会严重失真。

内容的提问来源于stack exchange，提问作者Blackandwhite23