You need to enable JavaScript to run this app. 如何合并多份同结构TDMS文件并构建连续时间轴实现跨文件绘图
优惠活动
大模型
产品
解决方案
定价
更多

如何合并多份同结构TDMS文件并构建连续时间轴实现跨文件绘图

多分包时序数据整合与连续可视化实现方案

核心逻辑

所有分包文件结构完全一致,通过逐文件加载、解析非标准时间字段、构建全局连续时间索引、多文件数据合并的流程,从根源解决多文件本地索引重叠的问题,同时支持任意时间范围的数据筛选与可视化。

分步实现代码(兼容TDMS/CSV双格式)

1. 基础配置

import os
import glob
import pandas as pd
import matplotlib.pyplot as plt
from nptdms import TdmsFile

# 可调整配置项
DATA_FOLDER = "./data_storage"  # 替换为实际存储文件的文件夹路径
TIME_COLUMN = "TimeStamp"  # 存储时间戳的列名
TARGET_PLOT_COL = "Position"  # 需要可视化的目标通道列名
# 匹配非标准时间格式:Tues. 17.11.2020 19:20:15
TIME_PARSE_TEMPLATE = "%a. %d.%m.%Y %H:%M:%S"

2. 多文件数据整合

# 按文件名字典序获取所有待加载文件,保证分包加载顺序正确
# 读TDMS文件时用这行
file_path_list = sorted(glob.glob(os.path.join(DATA_FOLDER, "*.tdms")))
# 如果读CSV文件,替换为下面这行即可,后续逻辑完全通用
# file_path_list = sorted(glob.glob(os.path.join(DATA_FOLDER, "*.csv")))

merged_df_list = []
for single_file in file_path_list:
    # --- TDMS读取分支 ---
    with TdmsFile.open(single_file) as tdms:
        # 读取Data组下的所有通道为DataFrame,使用npTDMS原生的组转DataFrame能力
        data_group = tdms["Data"]
        df_single = data_group.as_dataframe()
    # --- CSV读取分支(与TDMS读取逻辑完全对等) ---
    # df_single = pd.read_csv(single_file)

    # 解析非标准时间戳为pandas标准时间类型
    df_single[TIME_COLUMN] = pd.to_datetime(
        df_single[TIME_COLUMN],
        format=TIME_PARSE_TEMPLATE,
        errors="coerce"  # 对解析失败的异常行做过滤标记
    )
    # 移除解析失败的异常行
    df_single = df_single.dropna(subset=[TIME_COLUMN])
    # 将时间列设为DataFrame索引,替换每个文件本地从0开始的行号索引
    df_single = df_single.set_index(TIME_COLUMN)
    merged_df_list.append(df_single)

# 拼接所有单文件数据,按全局时间排序、去重
full_data_df = pd.concat(merged_df_list).drop_duplicates(keep="first").sort_index()

3. 可视化实现

# 全量数据连续绘图
plt.figure(figsize=(12, 6))
plt.plot(full_data_df.index, full_data_df[TARGET_PLOT_COL], label=TARGET_PLOT_COL)
plt.xlabel("Time")
plt.ylabel("Channel Value")
plt.title("Full Continuous Measured Data")
plt.legend()
plt.show()

# 按需筛选指定时间范围的数据绘图
# 示例:选取2020-11-17 19:20:00 到 2020-11-18 08:00:00 区间的数据
time_range_start = pd.to_datetime("2020-11-17 19:20:00")
time_range_end = pd.to_datetime("2020-11-18 08:00:00")
filtered_df = full_data_df.loc[time_range_start:time_range_end]

plt.figure(figsize=(12, 6))
plt.plot(filtered_df.index, filtered_df[TARGET_PLOT_COL], label=f"Filtered {TARGET_PLOT_COL}")
plt.xlabel("Time")
plt.ylabel("Channel Value")
plt.title(f"Data Range: {time_range_start} ~ {time_range_end}")
plt.legend()
plt.show()

关键问题说明

  • 解决多文件绘图重叠问题:放弃每个文件本地从0起始的行号作为x轴,统一用解析后的全局绝对时间作为连续索引,拼接后按时间排序,自然形成无重叠的连续时间轴
  • 非标准时间高效解析:通过指定固定格式模板解析带周几前缀的欧式日期格式,相比pandas默认的自动解析方式,速度提升明显,同时避免格式识别错误
  • 分包衔接数据处理:通过去重逻辑过滤5MB分包边界可能存在的重复时间点,保证绘图连续无断点
  • 格式兼容能力:单文件读取层做分支判断即可同时支持TDMS、CSV、Excel等任意格式,后续时间解析、索引构建、数据拼接、可视化逻辑完全通用
  • 修正原实现缺陷:原代码未读取TimeStamp时间列、未初始化目标DataFrame即执行append操作,仅基于单文件本地行号绘图,多文件加载时所有行号均从0开始,必然出现数据重叠,现在通过全局时间索引的方式彻底解决该问题

内容的提问来源于stack exchange,提问作者BadBroccoli

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.16 11:36:09