不等时间间隔与不等时间序列建模及异常行插补方案咨询

核心原则 #

每个Cycle是独立的时间序列，没必要强行统一所有Cycle的行数，重点要么是按Cycle单独标准化对齐，要么是用支持不等间隔的工具直接处理，避免全局操作带来的适配问题。

方案1：按Cycle单独重采样对齐（解决行数不一致） #

不要全局重采样，而是对每个Cycle单独处理：先把该Cycle的时间序列拉伸/压缩到统一的时间步长，再用插值填充Voltage值，这样所有Cycle的行数就一致了，后续ARIMA、SARIMA或机器学习模型都能正常使用。

Python实现示例：

import pandas as pd
import numpy as np

# 假设你的数据集是df，包含Test Time、Voltage、Cycle字段
def process_single_cycle(cycle_data):
    # 转换时间为datetime格式（如果未转换）
    cycle_data['Test Time'] = pd.to_datetime(cycle_data['Test Time'])
    # 生成该Cycle的固定间隔时间序列（比如10秒间隔，可根据需求调整）
    start = cycle_data['Test Time'].min()
    end = cycle_data['Test Time'].max()
    fixed_times = pd.date_range(start=start, end=end, freq='10S')
    # 合并原始数据并插值
    resampled = pd.DataFrame({'Test Time': fixed_times})
    # 按最近时间匹配原始数据
    merged = pd.merge_asof(resampled, cycle_data.sort_values('Test Time'), on='Test Time', direction='nearest')
    # 用线性插值填充空缺，也可以选'spline'（三次样条）、'nearest'（最近邻）等
    merged['Voltage'] = merged['Voltage'].interpolate(method='linear')
    merged['Cycle'] = cycle_data['Cycle'].iloc[0]
    return merged

# 批量处理所有Cycle
aligned_df = pd.concat([process_single_cycle(group) for _, group in df.groupby('Cycle')])

如果不同Cycle的持续时间差异极大，可以改用相对时间归一化：把每个Cycle的时间映射为0到1的相对值，再按固定的相对步长（比如0.01间隔）插值，避免短Cycle过度采样或长Cycle丢失细节。

方案2：用支持不等间隔序列的工具直接处理（无需强行对齐） #

Python有不少可靠工具能处理不等间隔时间序列，不用依赖R：

• 状态空间模型插补：用statsmodels的非观测成分模型（Unobserved Components Model），天然支持不等间隔数据，能同时完成异常插补和趋势建模。
  示例思路：

  import statsmodels.api as sm
  
  def impute_with_ssm(cycle_data):
      cycle_data = cycle_data.sort_values('Test Time')
      # 将时间转换为从起始点开始的秒数（数值型，方便模型处理）
      cycle_data['time_elapsed'] = (cycle_data['Test Time'] - cycle_data['Test Time'].min()).dt.total_seconds()
      # 标记异常行为NaN（先通过3σ、突变检测等方式识别异常）
      cycle_data['Voltage'] = cycle_data['Voltage'].mask(cycle_data['Voltage'].abs() > 3*cycle_data['Voltage'].std())
      # 构建状态空间模型，拟合趋势并插补
      model = sm.tsa.UnobservedComponents(cycle_data['Voltage'], level='local linear trend')
      fit_results = model.fit()
      # 得到插补后的序列
      cycle_data['Voltage_imputed'] = fit_results.predict(start=0, end=len(cycle_data)-1)
      return cycle_data
  
  imputed_df = pd.concat([impute_with_ssm(group) for _, group in df.groupby('Cycle')])
  

• 特征提取+机器学习：对每个Cycle提取标准化统计特征（比如均值、方差、峰值、谷值、电压变化率、时间序列熵等），用这些特征训练模型，完全不用考虑行数不一致。异常值可以通过孤立森林（Isolation Forest）、局部离群因子（LOF）识别后，用同类Cycle的特征均值或拟合趋势修复。

方案3：专项异常插补（无需对齐行数） #

如果核心需求只是修复异常行，不需要统一行数，可以按以下步骤：

1. 标记异常：对每个Cycle，用滑动窗口均值±3σ、相邻点电压突变阈值（比如变化率超过10%）等方法标记异常行；
2. 局部插补：用异常点前后n个正常点的线性/样条插值，或同Cycle的多项式拟合值填充异常。

Python实现示例：

def detect_and_fix_outliers(cycle_data, window=5, threshold=3):
    cycle_data = cycle_data.sort_values('Test Time')
    # 滑动窗口计算均值和标准差
    rolling_mean = cycle_data['Voltage'].rolling(window=window, center=True).mean()
    rolling_std = cycle_data['Voltage'].rolling(window=window, center=True).std()
    # 标记异常点
    cycle_data['is_outlier'] = np.abs(cycle_data['Voltage'] - rolling_mean) > threshold * rolling_std
    # 用线性插值填充异常
    cycle_data['Voltage_fixed'] = cycle_data['Voltage'].mask(cycle_data['is_outlier']).interpolate(method='linear')
    return cycle_data

final_df = pd.concat([detect_and_fix_outliers(group) for _, group in df.groupby('Cycle')])

内容的提问来源于stack exchange，提问作者muratti