合并采样时间相近的文件：采样时间选择与重复数据去重

一、去重合并的实现方法 #

针对两个结构一致但采样时间略有差异的文本文件，合并时要避免重复数据（保留其中一份），可以按以下方式处理：

用Pandas快速处理（推荐） #

如果数据量不算特别大，用Pandas的combine_first方法可轻松实现「优先保留某一文件数据，缺失部分用另一文件补全」的逻辑：

import pandas as pd

# 读取文件，自动解析时间列（假设时间列名为timestamp）
df_a = pd.read_csv('file_a.txt', parse_dates=['timestamp'])
df_b = pd.read_csv('file_b.txt', parse_dates=['timestamp'])

# 将时间列设为索引，方便按时间匹配
df_a = df_a.set_index('timestamp')
df_b = df_b.set_index('timestamp')

# 合并：优先保留df_a的数据，df_a缺失的时段用df_b补充
merged_df = df_a.combine_first(df_b)

# 导出合并后的文件
merged_df.reset_index().to_csv('merged_file.txt', index=False)

若想优先保留df_b的数据，调换顺序即可：merged_df = df_b.combine_first(df_a)。

如果两个文件的时间戳有微小差异（比如几毫秒），可先统一时间精度再合并，比如取整到秒：

# 将时间戳统一到秒级
df_a.index = df_a.index.floor('S')
df_b.index = df_b.index.floor('S')
# 再执行上述合并步骤

纯Python脚本处理（无依赖） #

不想用第三方库的话，可通过字典按时间戳去重：

def load_file(file_path):
    data = {}
    with open(file_path, 'r') as f:
        header = f.readline().strip()
        for line in f:
            parts = line.strip().split(',')  # 假设是逗号分隔的文本
            timestamp = parts[0]  # 假设第一列是时间戳
            # 标准化时间（比如截取到秒，消除毫秒级差异）
            timestamp = timestamp.split('.')[0]
            data[timestamp] = line.strip()
    return header, data

# 加载两个文件
header_a, data_a = load_file('file_a.txt')
header_b, data_b = load_file('file_b.txt')

# 合并：优先保留data_a的数据，补充data_b中不存在的条目
merged_data = data_a.copy()
for ts, line in data_b.items():
    if ts not in merged_data:
        merged_data[ts] = line

# 写入合并后的文件
with open('merged_file.txt', 'w') as f:
    f.write(header_a + '\n')
    # 按时间排序后写入
    for ts in sorted(merged_data.keys()):
        f.write(merged_data[ts] + '\n')

二、采样时间的选择策略 #

选择采样时间的核心是保证数据的准确性和一致性，可根据以下场景决策：

• 优先高可信度数据源：如果其中一个文件的采样设备精度更高、数据更可靠（比如专业传感器 vs 普通采集器），就以这个文件的时间戳为基准，重复时保留它的数据。
• 统一时间精度：若两个文件时间戳精度不同（比如一个是毫秒级，一个是秒级），将所有时间戳统一到较低精度（比如秒级），避免因微小时间差导致的重复。
• 按采样频率选择：如果一个文件的采样频率更高（比如每秒10次 vs 每秒1次），优先用高频率文件的时间基准，确保合并后的数据密度。
• 就近匹配补全：如果时间差异极小（<1秒），可将时间戳四舍五入到最近的统一时间点，再按优先级保留数据。

内容的提问来源于stack exchange，提问作者Zakarya