如何合并多份同结构TDMS文件并构建连续时间轴实现跨文件绘图
多分包时序数据整合与连续可视化实现方案
核心逻辑
所有分包文件结构完全一致,通过逐文件加载、解析非标准时间字段、构建全局连续时间索引、多文件数据合并的流程,从根源解决多文件本地索引重叠的问题,同时支持任意时间范围的数据筛选与可视化。
分步实现代码(兼容TDMS/CSV双格式)
1. 基础配置
import os import glob import pandas as pd import matplotlib.pyplot as plt from nptdms import TdmsFile # 可调整配置项 DATA_FOLDER = "./data_storage" # 替换为实际存储文件的文件夹路径 TIME_COLUMN = "TimeStamp" # 存储时间戳的列名 TARGET_PLOT_COL = "Position" # 需要可视化的目标通道列名 # 匹配非标准时间格式:Tues. 17.11.2020 19:20:15 TIME_PARSE_TEMPLATE = "%a. %d.%m.%Y %H:%M:%S"
2. 多文件数据整合
# 按文件名字典序获取所有待加载文件,保证分包加载顺序正确 # 读TDMS文件时用这行 file_path_list = sorted(glob.glob(os.path.join(DATA_FOLDER, "*.tdms"))) # 如果读CSV文件,替换为下面这行即可,后续逻辑完全通用 # file_path_list = sorted(glob.glob(os.path.join(DATA_FOLDER, "*.csv"))) merged_df_list = [] for single_file in file_path_list: # --- TDMS读取分支 --- with TdmsFile.open(single_file) as tdms: # 读取Data组下的所有通道为DataFrame,使用npTDMS原生的组转DataFrame能力 data_group = tdms["Data"] df_single = data_group.as_dataframe() # --- CSV读取分支(与TDMS读取逻辑完全对等) --- # df_single = pd.read_csv(single_file) # 解析非标准时间戳为pandas标准时间类型 df_single[TIME_COLUMN] = pd.to_datetime( df_single[TIME_COLUMN], format=TIME_PARSE_TEMPLATE, errors="coerce" # 对解析失败的异常行做过滤标记 ) # 移除解析失败的异常行 df_single = df_single.dropna(subset=[TIME_COLUMN]) # 将时间列设为DataFrame索引,替换每个文件本地从0开始的行号索引 df_single = df_single.set_index(TIME_COLUMN) merged_df_list.append(df_single) # 拼接所有单文件数据,按全局时间排序、去重 full_data_df = pd.concat(merged_df_list).drop_duplicates(keep="first").sort_index()
3. 可视化实现
# 全量数据连续绘图 plt.figure(figsize=(12, 6)) plt.plot(full_data_df.index, full_data_df[TARGET_PLOT_COL], label=TARGET_PLOT_COL) plt.xlabel("Time") plt.ylabel("Channel Value") plt.title("Full Continuous Measured Data") plt.legend() plt.show() # 按需筛选指定时间范围的数据绘图 # 示例:选取2020-11-17 19:20:00 到 2020-11-18 08:00:00 区间的数据 time_range_start = pd.to_datetime("2020-11-17 19:20:00") time_range_end = pd.to_datetime("2020-11-18 08:00:00") filtered_df = full_data_df.loc[time_range_start:time_range_end] plt.figure(figsize=(12, 6)) plt.plot(filtered_df.index, filtered_df[TARGET_PLOT_COL], label=f"Filtered {TARGET_PLOT_COL}") plt.xlabel("Time") plt.ylabel("Channel Value") plt.title(f"Data Range: {time_range_start} ~ {time_range_end}") plt.legend() plt.show()
关键问题说明
- 解决多文件绘图重叠问题:放弃每个文件本地从0起始的行号作为x轴,统一用解析后的全局绝对时间作为连续索引,拼接后按时间排序,自然形成无重叠的连续时间轴
- 非标准时间高效解析:通过指定固定格式模板解析带周几前缀的欧式日期格式,相比pandas默认的自动解析方式,速度提升明显,同时避免格式识别错误
- 分包衔接数据处理:通过去重逻辑过滤5MB分包边界可能存在的重复时间点,保证绘图连续无断点
- 格式兼容能力:单文件读取层做分支判断即可同时支持TDMS、CSV、Excel等任意格式,后续时间解析、索引构建、数据拼接、可视化逻辑完全通用
- 修正原实现缺陷:原代码未读取TimeStamp时间列、未初始化目标DataFrame即执行append操作,仅基于单文件本地行号绘图,多文件加载时所有行号均从0开始,必然出现数据重叠,现在通过全局时间索引的方式彻底解决该问题
内容的提问来源于stack exchange,提问作者BadBroccoli
相关产品推荐
相关产品推荐

