如何利用不一致时间序列数据集生成一致的时间序列数据集？

针对你的可穿戴设备加速度计时间序列数据（存在采样间隙、冗余点，需对齐到固定10ms采样频率），可以完全利用Pandas的向量化操作替代原有循环逻辑，大幅提升效率同时让代码更简洁易维护。

核心优化思路 #

1. 标准化时间戳格式：统一将时间戳转为带UTC时区的datetime64类型，避免字符串转换的额外开销。
2. 按秒聚合冗余数据：对每秒内的冗余采样点取均值（也可按需保留首/尾值），消除同一秒内的重复数据问题。
3. 固定频率重采样补全间隙：基于原始数据时间范围生成10ms间隔的标准时间轴，通过插值或填充补全缺失数据点。

优化后的代码实现 #

import pandas as pd

# 预处理：确保原始数据的timestamp是带UTC时区的datetime类型
df_temp['timestamp'] = pd.to_datetime(df_temp['timestamp'], utc=True)

# 步骤1：按秒聚合冗余数据，每秒内的传感器指标取均值（可替换为.first()/.last()）
df_second_agg = df_temp.groupby(df_temp['timestamp'].dt.floor('S')).agg({
    'acc_x': 'mean',
    'acc_y': 'mean',
    'acc_z': 'mean',
    'gyro_x': 'mean',
    'gyro_y': 'mean',
    'gyro_z': 'mean'
}).reset_index()

# 步骤2：生成对齐到10ms的标准时间轴
start_time = df_temp['timestamp'].min().floor('10ms')
end_time = df_temp['timestamp'].max().ceil('10ms')
standard_time_axis = pd.date_range(start=start_time, end=end_time, freq='10ms', tz='UTC')

# 步骤3：将聚合数据展开到10ms粒度，对齐标准时间轴
df_second_agg['timestamp_expanded'] = df_second_agg.apply(
    lambda row: pd.date_range(start=row['timestamp'], end=row['timestamp'] + pd.Timedelta('990ms'), freq='10ms', tz='UTC'),
    axis=1
)
df_expanded = df_second_agg.explode('timestamp_expanded').drop(columns=['timestamp'])
df_expanded = df_expanded.rename(columns={'timestamp_expanded': 'timestamp'})

# 合并到标准时间轴，缺失值按需填充（示例用前向填充，也可改用线性插值interpolate()）
df_final = pd.DataFrame({'timestamp': standard_time_axis}).merge(
    df_expanded, on='timestamp', how='left'
).fillna(method='ffill')

# 如需保留原始时间戳信息，可添加对应字段
df_final['original_timestamp'] = df_final['timestamp']

关键优化点说明 #

• 消除循环开销：用groupby+agg替代逐秒循环处理冗余数据，Pandas内部向量化计算比Python原生循环效率提升数倍。
• 减少类型转换损耗：全程使用datetime64类型处理时间，避免频繁的字符串解析与格式化操作。
• 灵活的缺失值处理：可根据业务场景选择填充方式：
  • 前向填充(fillna(method='ffill'))：适合短时间间隙补全
  • 线性插值(df_final.interpolate(method='linear'))：适合需要平滑过渡的场景
  • 均值填充：用相邻时间段的统计均值补全缺失点

内容的提问来源于stack exchange，提问作者Darshana Sandaruwan