多分辨率时间轴环境数据合并至最高分辨率时间轴的快速方案

嘿，这个场景我太熟了！手动核对时间轴分辨率确实巨麻烦，用Python的Pandas就能全自动搞定，完全不用你挨个去查每组数据的起始时间和分辨率。下面是具体的实现步骤，亲测好用：

1. 先把所有数据加载进来 #

假设你的环境数据是CSV格式（其他格式也类似），每一组数据都有时间戳列（比如叫datetime）。先把所有数据加载成Pandas的DataFrame，同时确保时间列被正确解析为日期时间类型：

import pandas as pd
import glob

# 替换成你的数据文件夹路径
file_paths = glob.glob("./environmental_data/*.csv")
dataset_list = []

for file in file_paths:
    # 读取数据，解析datetime列为时间索引
    df = pd.read_csv(file, parse_dates=["datetime"], index_col="datetime")
    dataset_list.append(df)

2. 自动找出最高分辨率的时间轴 #

我们不需要手动去看每组数据的分辨率，通过代码自动计算每组数据的最小时间间隔，间隔最小的就是分辨率最高的那组，它的时间轴就是我们的基准轴：

def calculate_min_interval(df):
    # 计算相邻时间戳的差值，取最小的那个作为该数据集的分辨率
    time_diffs = df.index.to_series().diff().dropna()
    return time_diffs.min()

# 计算所有数据集的最小时间间隔
all_intervals = [calculate_min_interval(df) for df in dataset_list]
# 找到间隔最小的数据集索引（即最高分辨率）
highest_res_index = all_intervals.index(min(all_intervals))
# 提取基准时间轴
base_timeline = dataset_list[highest_res_index].index

3. 把其他数据适配到基准时间轴 #

根据你的环境数据类型选择适配方法：

• 连续型数据（比如温度、湿度、PM2.5）：用线性插值填充缺失值，最贴合实际变化
• 离散型数据（比如设备开关状态、天气类型）：用向前填充/向后填充，保持状态一致性

示例代码：

aligned_datasets = [dataset_list[highest_res_index]]  # 先加入基准数据集

for idx, df in enumerate(dataset_list):
    if idx == highest_res_index:
        continue  # 跳过基准数据
    
    # 重新索引到基准时间轴，这里用线性插值处理连续数据
    aligned_df = df.reindex(base_timeline).interpolate(method="linear")
    
    # 如果是离散数据，替换成下面这行：
    # aligned_df = df.reindex(base_timeline).ffill()  # 向前填充，也可以用bfill()向后填充
    
    aligned_datasets.append(aligned_df)

# 合并所有对齐后的数据集
final_merged_data = pd.concat(aligned_datasets, axis=1)

4. 可选：处理时间范围不重叠的情况 #

如果有些数据集的时间范围和基准轴不完全重合，可以选择截断到所有数据的共同时间范围，避免出现大量NaN：

# 找到所有数据集的最早起始时间和最晚结束时间的交集
common_start = max(df.index.min() for df in dataset_list)
common_end = min(df.index.max() for df in dataset_list)

# 截断合并后的数据到共同时间范围
final_merged_data = final_merged_data.loc[common_start:common_end]

小提示 #

• 如果你的时间序列是规则频率（比如每小时、每分钟一条），可以用pd.infer_freq(df.index)直接推断频率，比计算最小间隔更高效，把它替换到calculate_min_interval函数里就行
• 一定要确保所有数据的时区一致！如果有时区差异，先统一成同一个时区（比如UTC）：df.index = df.index.tz_convert("UTC")

内容的提问来源于stack exchange，提问作者CfourPiO