Python中合并多份CSV数据集并顺延构建连续时间序列的方法咨询

可行性结论 #

该需求完全可以实现，哪怕不同数据集的时间戳增量不一致也没有开发障碍。如果所有数据集的时间戳增量一致，确实会更易实现，处理逻辑可以更简化。

核心实现思路 #

核心逻辑是按拼接顺序给后续每个数据集的时间戳加上前序所有数据集的最大时间作为偏移量，保留各数据集自身的时间步长，最后合并所有数据集即可。
具体操作步骤如下：

• 按你期望的时间拼接顺序整理CSV文件路径列表（比如示例中先放数据集A的路径，再放数据集B的路径）
• 初始化时间偏移量为0，同时初始化空列表存储处理后的分片数据
• 遍历每个CSV文件：
  • 读取文件为DataFrame结构
  • 将当前DataFrame的时间列统一加上当前的时间偏移量
  • 更新时间偏移量为当前DataFrame处理后的时间列最大值
  • 将处理后的DataFrame存入分片列表
• 合并所有分片数据，按需去重、导出即可

示例代码 #

使用Python的pandas库即可快速实现，参考代码如下：

import pandas as pd

# 按拼接顺序填写你的CSV文件路径，示例为A在前B在后
csv_paths = ["dataset_a.csv", "dataset_b.csv"]
time_offset = 0
df_list = []

for path in csv_paths:
    current_df = pd.read_csv(path)
    # 给当前数据集的时间加上偏移量，实现顺延
    current_df["time"] = current_df["time"] + time_offset
    # 更新偏移量为当前数据集的最大时间
    time_offset = current_df["time"].max()
    df_list.append(current_df)

# 合并所有数据集，重置索引
merged_df = pd.concat(df_list, ignore_index=True)
# 可选：如果需要避免前后数据集首尾时间重复，保留前序数据集的取值
merged_df = merged_df.drop_duplicates(subset="time", keep="first")
# 导出为最终CSV文件
merged_df.to_csv("merged_time_series.csv", index=False)

运行上述代码后得到的文件就完全符合你给出的示例效果。

时间增量一致的优势 #

如果所有数据集的时间戳增量完全相同，处理逻辑可以进一步简化：不需要逐个计算偏移量，直接拼接所有数据集的数值列后，统一生成从0开始、步长匹配的连续时间序列即可，还能自动处理可能的时间断档问题，实现起来容错性更高、代码更简洁。

内容的提问来源于stack exchange，提问作者Jazim Sohail